Тесты ситуационного суждения: валидность и справедливость — что говорят исследования

Консенсус исследования

Тесты ситуационного суждения — один из наиболее изучаемых форматов оценки в I-O психологии. Доказательства убедительны:

• Прогностическая валидность: мета-анализы показывают, что SJT предсказывают производительность работы с корреляциями r = 0,26–0,40 (умеренно-сильные) в десятках исследований. Для сравнения, неструктурированные интервью намного ниже. Структурированные поведенческие интервью сопоставимы.
• Защита в правовом отношении: суды и регуляторы рассматривают SJT благосклонно, поскольку они измеряют компетенции, имеющие отношение к работе, без замещающих переменных для защищённых характеристик.
• Неблагоприятное воздействие: хорошо разработанные SJT показывают минимальное неблагоприятное воздействие на защищённые группы. Некоторые исследования показывают меньшее неблагоприятное воздействие, чем когнитивные тесты или неструктурированные интервью.

Это не означает, что все SJT валидны или справедливы. Это означает, что формат сам по себе имеет сильные основания. Реализация имеет огромное значение.

Прогностическая валидность: что предсказывают SJT

Исследования последовательно показывают, что SJT предсказывают:

Производительность работы (r = 0,28–0,35 в мета-анализах): оценки руководителем общей производительности. Это существенно — выше, чем неструктурированные интервью (r = 0,38 часто цитируется, но это включает структурированные интервью; неструктурированные одни ближе к 0,15).

Командная работа и межличностная компетентность (r = 0,35–0,45): навыки работы с людьми, разрешение конфликтов, сотрудничество. SJT конкретно измеряют суждение о людях, поэтому это неудивительно.

Успех обучения (r = 0,20–0,30): как быстро новые сотрудники развиваются и учатся. SJT измеряют адаптивность и рассуждение, оба имеют отношение к обучению.

Удержание (r = 0,15–0,25): более длительный срок пребывания коррелирует с соответствием суждения. Не такой сильный, как корреляция производительности работы, но значимый.

Что SJT НЕ предсказывают хорошо:

• Техническое мастерство: SJT для инженера-программиста не измеряет навыки кодирования. Сочетайте с оценкой кодирования.
• Мотивация или вовлечённость: SJT измеряет суждение, а не стремление.
• Конкретные знания: SJT по дилеммам обслуживания клиентов не проверяет знание продукта.
• Добросовестность: высокие баллы SJT не обязательно означают большую добросовестность, просто лучшее суждение.

Вывод: SJT имеют подлинную прогностическую валидность для результатов, связанных с суждением. Они не являются универсальными предсказателями. Слоём их с другими оценками. Смотрите, как их правильно разработать и какие конкретные примеры выглядят.

Неблагоприятное воздействие: дискриминируют ли SJT

Неблагоприятное воздействие при найме означает, что тест производит значительно более низкие показатели выбора для защищённых групп (раса, пол, возраст и т.д.). Правовой стандарт (согласно Единым руководящим принципам по процедурам отбора сотрудников):

Если показатель отбора группы ниже 80% показателя группы с наивысшим показателем отбора, тест может показать неблагоприятное воздействие и требует доказательств валидности.

Что показывают исследования

Пол: SJT, как правило, не показывают значительных различий между мужчинами и женщинами. Некоторые исследования показывают небольшое преимущество для женщин. Когда различия появляются, они меньше, чем для когнитивных тестов.

Раса/этническая принадлежность: SJT показывают меньшее неблагоприятное воздействие, чем когнитивные тесты. Исследования исследователей, таких как Нгуен и О'Нил, показали, что тесты ситуационного суждения имели меньшие разрывы между расовыми группами, чем тесты общих когнитивных способностей. Разрыв существует, но он скромен.

Возраст: некоторые SJT показывают небольшое преимущество возраста (пожилые кандидаты набирают выше), но эффект невелик и зависит от роли.

Культурное происхождение: здесь дизайн имеет значение. Универсальные сценарии (офисная политика, деловые нормы) могут дать преимущество кандидатам из определённых культурных контекстов. Пользовательские SJT, особенно испытанные с разнообразными группами, показывают более низкую культурную предвзятость.

Почему SJT показывают меньшее неблагоприятное воздействие

Несколько факторов:

1. SJT измеряют суждение, а не знание. Когнитивные тесты часто измеряют накопленные знания, которые коррелируют с доступностью образования. Суждение более универсально.

2. SJT можно культурно адаптировать. Если ваша оценка включает сценарии, специфичные для вашей отрасли или компании, вы можете убедиться, что они одинаково доступны для кандидатов с разными происхождениями.

3. Отсутствие требования "правильного ответа". В отличие от математических задач или тестов словарного запаса, варианты SJT ранжируются по спектру. Кандидат может рассуждать по-другому без того, чтобы быть "неправильным".

Проблемы справедливости: где дизайн подводит

Даже с исследовательской поддержкой, плохо разработанные SJT вносят смещение.

Проблема 1: Сценарии, предполагающие специфический культурный контекст

Плохой пример: "Ваша команда хочет пойти на happy hour после работы, чтобы отпраздновать веху. Вы не пьёте. Как вы ответите?"

Этот сценарий предполагает:

• "Построение команды" означает общение вне работы
• Общение вне работы нормализовано
• Алкоголь — стандартное празднование

Это дает преимущество кандидатам из культур, где разделение работы и жизни менее строго, или где внерабочее общение нормализовано.

Лучший дизайн: создавайте сценарии вокруг реальных рабочих дилемм, а не культурных предположений. "Цель спринта вашей команды находится под угрозой из-за технической зависимости. Коллега хочет потратить время на наставление младшего инженера. Как вы это преодолеете?"

Проблема 2: Требование специфичного для отрасли или компании знания

Плохой пример: "Вы обнаруживаете критическую уязвимость безопасности в production. Политика реагирования на инциденты вашей компании требует уведомления правовой команды перед командой реагирования на инциденты. Вы..."

Этот сценарий требует знания вашей специфичной политики реагирования на инциденты. Кандидаты из-за пределов отрасли не знали бы этого и получили бы более низкие баллы.

Лучший дизайн: сделайте дилемму о принципе, а не о специфичной политике. "Вы обнаруживаете критическую уязвимость безопасности. Уведомление правовой команды замедлит время отклика, но неуведомление создаёт правовой риск. Как вы это обдумываете?"

Проблема 3: Язык и доступность

Плохой пример: "Заинтересованное лицо использует фразу, которую вы находите тревожной. Она предполагает скрытое смещение в их мышлении..."

Слова, такие как "скрытое", "тревожное", "неявное", требуют высокого уровня владения английским языком и культурной осведомлённости. Говорящие по-английски как неродному языку могут получить более низкие баллы по языковым причинам, а не по причинам суждения.

Лучший дизайн: используйте ясный, прямой язык. Избегайте идиом. Избегайте требования эмоционального интеллекта о языке, когда вы тестируете суждение о решениях.

Проблема 4: Сценарии, которые отдают предпочтение определённым типам личности

Плохой пример: "Завтра важное совещание. Вы не полностью подготовились, но думаете, что сможете импровизировать. Что вы делаете?"

Этот сценарий судит экстравертность и толерантность к риску как качества суждения. Это может несправедливо штрафовать интровертных и риск-неприемлющих кандидатов.

Лучший дизайн: проверяйте суждение о самом решении, а не личность о подходе. "Вы не закончили анализ ключевого набора данных перед совещанием. Вы: A) Представляете с частичными данными и оговоренностью, B) Просите перенести встречу, C) Углубляетесь дальше и опоздаёте, D) Ничего не представляете..."

Подделка: могут ли кандидаты обыграть тест

Да. SJT более подделываются, чем тесты способностей. Кандидат может запомнить "правильные" ответы или понять, что вы цените из сценариев.

Как кандидаты подделывают

1. Вывод ценностей компании из сценариев: если ваш SJT подчеркивает "дисциплину эскалации", кандидаты поймут, что вы цените консультирование с менеджерами. Они могут ранжировать этот вариант первым, даже если они на самом деле так не ведут себя.

2. Изучение аналогичных оценок: если вы используете стандартный SJT, кандидаты могут практиковаться с аналогичными оценками от других компаний.

3. Подготовка интервьюером: профессиональный коуч интервьюера может обучить кандидатов эвристике (например, "всегда приоритизируйте построение команды над выполнением задачи"), которая повысит баллы SJT даже если это не истинное суждение кандидата.

Снижение подделки

Используйте пользовательские сценарии, специфичные для вашей компании. Стандартные SJT легче обыгрываются, потому что кандидаты знают жанр и могут его изучить. Ваш пользовательский SJT не может быть изучен, потому что он новый.

Проверяйте поведение. Скоррелируйте баллы SJT с поведением на рабочем месте через обзоры 360, ретроспективы проектов или отзывы команды. Если высокий баллист SJT не демонстрирует это суждение в работе, вы обнаружили подделку.

Объединитесь с поведенческим интервью. Используйте результаты SJT как трамплин: "Я заметил, что вы ранжировали X первым в сценарии эскалации. Расскажите мне о времени, когда вы действительно эскалировали рано. Что произошло?"

Это вынуждает кандидата предоставить связное повествование. Подделка сложнее, когда вы требуете примеров.

Просите рассуждение в дополнение к ранжированию. Некоторые платформы просят кандидатов объяснить, почему они ранжировали варианты в этом порядке. Это сложнее подделать — кандидаты должны сформулировать подлинное рассуждение, а не просто правильно ранжировать.

Не публикуйте вашу систему оценки. Чем больше кандидаты знают о вашем главном ранжировании, тем больше они могут подделать. Держите вашу систему оценки прозрачной внутри, но не публикуйте её.

Консенсус исследования: подделка SJT — реальная проблема, но она меньше, чем подделка других оценок. Тесты личности более подделываются. Так называемые вопросы "культурного соответствия" более подделываются. Неструктурированные интервью более подделываются. Пользовательский, поведенчески подтверждённый риск подделки SJT управляем.

Правовая защита и защита от неблагоприятного воздействия

Если вас судят или проверяют за неблагоприятное воздействие, вам нужно показать:

1. Релевантность работе: измеряет ли оценка навыки, которые имеют значение для работы? SJT измеряют суждение; если суждение имеет значение для роли, вы можете это защитить.

2. Доказательство валидности: можете ли вы показать, что оценка предсказывает производительность? Мета-анализы по SJT существуют. Ваша собственная внутренняя валидация (корреляция баллов SJT с оценками производительности для ваших нанятых) ещё более сильна.

3. Доступна ли альтернатива с более низким воздействием? Произведёт ли другая оценка (одинаково валидная) меньше неблагоприятного воздействия? Если нет, суды принимают валидный тест несмотря на неблагоприятное воздействие.

4. Процедурная справедливость: вы пилотировали с разнообразными группами? Вы рассмотрели сценарии на предмет смещения? У вас были разнообразные оценивающие создают главное ранжирование? Процедурная справедливость считается, даже если числовое неравенство существует.

Пример: Правовая защита

Компанию судили за неблагоприятное воздействие при оценке найма. Компания использовала пользовательский SJT, который показал немного более низкие баллы для латиноамериканских кандидатов. Защита:

• Доказательство валидности: компания предоставила собственные исследования, показывающие, что баллы SJT коррелировали (r = 0,32) с оценками производительности руководителя в 40 нанятых в течение двух лет.
• Контекст неблагоприятного воздействия: различие между группами было скромным (около 4 баллов на 100-балльной шкале) по сравнению с типичными пробелами когнитивных тестов (15–20 баллов).
• Альтернативная оценка: ни один другой формат оценки доступный не имел более низкого неблагоприятного воздействия и сопоставимой валидности.
• Процедурная справедливость: компания пилотировала сценарии с латиноамериканскими сотрудниками перед развёртыванием и переработала для ясности.

Суд вынес решение в пользу компании. Оценка была защищаемой, потому что она была валидна, неблагоприятное воздействие было скромным, и процесс был справедливым.

Чек-лист справедливости для дизайна SJT

Перед развёртыванием SJT, проверьте его по этому чек-листу:

Качество сценария:

• Избегают ли сценарии культурных предположений?
• Они проверяют суждение о решении, а не личность?
• Они одинаково доступны для кандидатов с разных происхождений?
• Они требуют нет специализированного знания отрасли для понимания дилеммы?

Язык:

• Язык ясен и прямолинеен?
• Есть ли идиомы или разговорные выражения?
• Поняли бы неродной англоговорящий дилемму?
• Определены ли технические термины?

Варианты ответа:

• Все ли варианты защищаемы (нет явно глупых ответов)?
• Избегают ли они стереотипизации (например, "женщины предпочитают сотруднический подход")?
• Одинаково ли они подробны (один вариант не 2 предложения, а другой 20)?

Главное ранжирование:

• Было ли оно создано разнообразной группой лучших исполнителей?
• Они согласны, или есть честное несогласие?
• Ранжировали бы кандидаты из разных происхождений подобным образом, или ранжирование культурно специфично?

Валидация:

• Вы тестировали оценку с разнообразными группами кандидатов?
• Вы смотрели на статистические различия в баллах по демографической группе?
• Высокие и низкие баллисты всех групп работают ожидаемо хорошо в роли?

Прозрачность:

• Кандидаты понимают, что измеряется?
• Они знают, как работает оценка?
• Могут ли они понять свои результаты?

Итоговое сообщение о валидности и справедливости

SJT — один из наиболее валидных и справедливых доступных форматов оценки. Исследования убедительны. Но валидность и справедливость — не свойства формата — они свойства реализации.

Хорошо разработанный, пользовательский SJT с надлежащим тестированием пилота и валидацией защищаемый, прогностичный и справедливый. Плохо разработанный универсальный SJT может вносить смещение и не предсказать производительность.

Разница в вашем процессе: анализ работы, дизайн сценария, разнообразное тестирование пилота, главное ранжирование разнообразными лучшими исполнителями и валидация против фактической производительности работы.

Для строгого подхода к созданию справедливых оценок, сочетайте SJT с рубриками интервью, калибровкой и разнообразными командами найма. При объединении с этой дисциплиной SJT одни из ваших наиболее надёжных сигналов найма. Правильная интерпретация результатов также важна, как дизайн.

Платформа оценки ClarityHire включает проверки смещения для SJT, шаблоны структурированного интервью и инструменты валидации, чтобы помочь вам уверенно разработать и развернуть SJT.