Прогнозирующая валидность методов найма: что на самом деле говорит исследование
Почему «прогнозирующая валидность» — единственное число, которое имеет значение
Прогнозирующая валидность — это корреляция, выраженная коэффициентом r между 0 и 1, между баллом оценки и последующей производительностью на работе. r в 0,0 — это подбрасывание монеты. r в 0,5 — это действительно полезно. r в 0,7 близко к потолку того, что можно измерить в шумной реальной обстановке.
Почти каждый спор о найме — «должны ли мы добавить take-home?», «стоят ли личностные тесты?», «неработающий ли скрининг резюме?» — сворачивается в один вопрос, когда у вас есть числа валидности: действительно ли этот метод прогнозирует, кто будет сильным исполнителем?
Этот пост — краткая, авторитетная версия этой литературы.
Семинальный источник
Десятилетия эталоном был мета-анализ Schmidt и Hunter 1998 года, «The Validity and Utility of Selection Methods in Personnel Psychology», который синтезировал примерно восемьдесят пять лет накопленного исследования. Он ранжировал предикторы и их добавленный вклад над тестами общей умственной способности.
В 2022 году Sackett, Zhang, Berry и Lievens опубликовали серьёзное уточнение («Revisiting Meta-Analytic Estimates of Validity in Personnel Selection»), утверждая, что ранние исследования переисправляли за ограничение диапазона и завышали верх таблицы. Их переоценки тянут большинство методов вниз, но оставляют порядок в основном нетронутым.
Числа ниже — переоценённые оценки, округлённые для запоминаемости. Читайте их как относительные ранжирования, не истину.
Таблица, которую все должны знать
| Метод | Примерная валидность (r) |
|---|---|
| Примеры работ | 0,33 |
| Структурированные интервью | 0,42 |
| Тесты когнитивной способности | 0,31 |
| Тесты целостности | 0,31 |
| Тесты профессионального знания | 0,40 |
| Добросовестность (личность) | 0,19 |
| Неструктурированные интервью | 0,19 |
| Лет образования | 0,10 |
| Лет опыта | 0,09 |
| Проверка рекомендаций | 0,13 |
| Графология / почерк | 0,02 |
Несколько вещей выскочат:
- Структурированные интервью и примеры работ на вершине. Вместе они — несущие столпы любого защищаемого цикла найма.
- Неструктурированные интервью — тип, на который полагается большинство команд — едва ли бьют образование и опыт. «Мы встретились и они казались классными» — это почти подбрасывание монеты.
- Проверка рекомендаций слабая. Полезны для отсева катастроф, не для выбора победителей.
Что ранжирования означают операционно
Три следствия, которые большинство команд недостаточно усваивают:
1. Структура бьёт длину
30-минутное структурированное интервью с якорями и оценочными шкалами превосходит 90-минутный разговор «расскажите о себе». Структура — те же вопросы, та же рубрика, те же измерения — делает больше работы, чем инвестиция времени.
2. Примеры работ — самое высокомощное единственное добавление
Большинство циклов включают какой-нибудь вид интервью. Намного менее — хорошо спроектированный пример работы. Добавление одного обычно самый большой скачок валидности, доступный, и имеет дополнительное преимущество быть более юридически защитимым, потому что напрямую образцы работу.
3. Когнитивные тесты работают, но имеют неблагоприятное влияние
Тесты когнитивной способности прогнозируют производительность разумно хорошо на всех ролях. Они тоже склонны производить большие демографические разрывы в баллах, чем примеры работ, что почему большинство современного руководства по найму предпочитают оценки на основе содержания работы, где возможно.
«Авторитетный источник» — где читать дальше
Для практиков, которые хотят первоисточники, три нужно знать:
- Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.
- Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068.
- The SIOP Principles (Society for Industrial and Organizational Psychology) — практический способ руководства по валидации и справедливости.
Статья Sackett 2022 — самый текущий авторитетный источник. Если вы приводите одно число в документе дизайна найма, приводите отсюда.
Что это означает для вашего цикла
Самая краткая защитимая рекомендация:
- Добавьте пример работы для любой роли, где вы можете спроектировать репрезентативную задачу менее чем за три часа.
- Сделайте каждое интервью структурированным интервью — те же вопросы, та же рубрика, баллы собраны до рекомендаций.
- Рассматривайте неструктурированные раунды «проверка по ощущениям» как социальные, не прогнозирующие. Держите их кратко и взвешивайте низко.
- Выбросьте проверку рекомендаций из решений идти/не идти. Используйте их как финальный слой благоразумия.
Это единственное изменение движет типичный цикл из прогнозируемого r в 0,2 в 0,5. Эффект компаундирования на протяжении года найма громадный.
Как ClarityHire подходит
ClarityHire построен вокруг ровно этого порядка приоритета. Стандартный шаблон scorecard структурирован. Шаблоны оценок имеют форму примера работы, не тривии. Сигналы целостности держат примеры работ take-home честными в мире ИИ-ассистентов. Мнения продукта идут вниз по течению исследования — не наоборот.
Выбирайте методы по валидности. Всё остальное — стиль.