Прогнозирующая валидность методов найма: 70 лет исследований

Почему «прогнозирующая валидность» — единственное число, которое имеет значение

Прогнозирующая валидность — это корреляция, выраженная коэффициентом r между 0 и 1, между результатом оценки и последующей производительностью на работе. r 0,0 — это как подбросить монету. r 0,5 — по-настоящему полезный результат. r 0,7 — это уже близко к верхнему пределу того, что можно измерить в условиях реальной жизни с множеством помех.

Почти каждый спор о наборе кадров — «добавить ли take-home задание?», «стоят ли личностные тесты?», «скрининг резюме — это зря?» — в конце концов сводится к одному вопросу, как только у вас есть показатели валидности: действительно ли этот метод предсказывает, кто будет сильным исполнителем?

Этот пост — краткая, авторитетная версия литературы по этому вопросу.

Главный источник

На протяжении десятилетий эталоном был мета-анализ Schmidt и Hunter 1998 года «The Validity and Utility of Selection Methods in Personnel Psychology», который обобщил примерно восемьдесят пять лет накопленных исследований. В нём были ранжированы предикторы и их добавленная прогностическая ценность в сравнении с тестами общих умственных способностей.

В 2022 году Sackett, Zhang, Berry и Lievens опубликовали серьёзное уточнение («Revisiting Meta-Analytic Estimates of Validity in Personnel Selection»), указав, что более ранние исследования чрезмерно корректировали данные с учётом ограничения диапазона и завышали показатели верхней части таблицы. Их пересчёты немного снижают оценки большинства методов, но общее распределение по рангам остаётся в основном прежним.

Приведённые ниже цифры — скорректированные и округлённые для запоминаемости. Воспринимайте их как относительные рейтинги, а не абсолютную истину.

Таблица, которую должны знать все

Несколько моментов бросаются в глаза:

• Структурированные интервью и тестовые задания находятся на вершине. Вместе они — несущие столпы любого обоснованного процесса отбора.
• Неструктурированные интервью — к которым прибегает большинство команд — едва ли превосходят образование и опыт. «Мы встретились и они нам понравились» — это почти подбрасывание монеты.
• Проверка рекомендаций слабо предсказывает. Она полезна для отсева очевидных провалов, но не для выбора лучших кандидатов.

Что эти рейтинги означают на практике

Три вывода, которые большинство команд недостаточно учитывают:

1. Структура важнее, чем продолжительность

30-минутное структурированное интервью с чёткими критериями и оценочными шкалами превосходит по эффективности 90-минутный разговор-монолог «расскажите о себе». Структура — одни и те же вопросы, одна и та же рубрика, одни и те же оцениваемые параметры — даёт гораздо больше информации, чем просто больше времени.

2. Тестовые задания — это самое мощное единовременное улучшение

Большинство процессов отбора включают какой-нибудь вид интервью. Гораздо меньше используют хорошо спроектированное тестовое задание. Добавление такого задания обычно даёт самый значительный прирост валидности из всех возможных шагов. Кроме того, это лучше защищено с юридической точки зрения, поскольку оно напрямую моделирует реальную работу.

3. Когнитивные тесты работают, но имеют побочный эффект

Тесты когнитивных способностей довольно хорошо предсказывают производительность во всех ролях. Однако они также часто создают значительные различия в результатах между демографическими группами — больше, чем тестовые задания. Поэтому современные рекомендации по найму часто рекомендуют предпочитать оценки, основанные на содержании работы, там, где это возможно.

«Авторитетные источники» — где почитать дальше

Для специалистов, ищущих первоисточники, вот три ключевых работы:

• Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.
• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068.
• The SIOP Principles (Society for Industrial and Organizational Psychology) — рекомендации практикам по валидации и справедливости процесса отбора.

Статья Sackett 2022 года — самый свежий и авторитетный источник. Если вы ссылаетесь на какой-то одна цифру в документе, описывающем дизайн процесса найма, берите её оттуда.

Что это означает для вашего процесса найма

Самая краткая, но обоснованная рекомендация:

1. Добавьте тестовое задание для любой должности, если вы можете придумать репрезентативное задание менее чем за три часа.
2. Сделайте каждое интервью структурированным — одни и те же вопросы, одна и та же оценочная рубрика, баллы подсчитываются до всяких рекомендаций.
3. Рассматривайте неструктурированные раунды «по чувствам» как социальные, а не как инструмент предсказания. Держите их коротким и давайте им небольшой вес в финальном решении.
4. Исключите проверку рекомендаций из критических решений. Используйте её как заключительную проверку здравомыслия.

Одно это изменение сдвигает типичный процесс отбора с прогнозируемого r 0,2 на r 0,5. Эффект накопления за год найма огромен.

Как в этом помогает ClarityHire

ClarityHire построена вокруг ровно этого порядка приоритетов. Стандартный шаблон карточки интервью по умолчанию структурирован. Шаблоны оценок построены как тестовые задания, а не как викторины. Проверка целостности гарантирует честность take-home заданий в мире AI-ассистентов. Дизайн продукта опирается на исследование — не наоборот.

Выбирайте методы на основе валидности. Всё остальное — просто стиль.