Как установить проходной балл для оценки программирования

Неправильный способ: «давайте возьмем 70%»

Большинство команд выбирают проходной балл, голосуя в совещании. «Что кажется правильным? 70? Давайте скажем 75%» Число записывается, оценка запускается, и к нему возвращаются только когда страдает воронка найма — либо слишком мало кандидатов преодолевают порог и должность остается открытой, либо слишком много, и раунд живого интервью перегружен.

Проходной балл — это не ощущение. Это самое важное единственное решение в вашей воронке найма: каждый пункт, на который вы сместите его, меняет, кто перейдет на следующий этап. Это заслуживает методологии.

Что на самом деле означает проходной балл

Формально проходной балл — это порог, разделяющий минимально квалифицированного кандидата (МКК) — самый низкий уровень навыков, который вы все еще наймете — от тех, кого вы не продвинете. Все остальное вытекает из этого единственного определения.

Две распространенные ошибки:

• Проходной балл — это не ожидаемый балл типичного нанятого сотрудника. Это минимум. Большинство ваших нанятых должны преодолевать его с комфортом.
• Проходной балл — это не мера сложности теста. Две оценки с очень разной сложностью могут иметь одного и того же МКК, и поэтому очень разные проходные баллы.

Шаг 1: Запишите МКК

Перед тем как трогать число, напишите однопараграфное описание минимально квалифицированного кандидата для этой должности в этой оценке. Будьте конкретны:

«Backend-инженер с 2–3 годами опыта в продакшене, который может реализовать CRUD endpoint с валидацией входных данных, написать тест для happy path и обработать один граничный случай без подсказок. Они могут пропустить один из трех вторичных граничных случаев. Они пишут читаемый код, но не всегда элегантный код.»

Если вы не можете написать этот параграф, вы не готовы устанавливать проходной балл. Проведите сеанс калибровки с группой найма, пока не сможете.

Шаг 2: Выберите метод

Три метода, которые используют практики, в порядке возрастания строгости:

Оценка в стиле Angoff

Группа из 3–5 инженеров, знакомых с должностью, сами проходят оценку, затем рецензируют каждый элемент и оценивают вероятность того, что МКК правильно ответит на него. Суммируйте эти вероятности, и у вас есть черновой проходной балл. Груб, но защищаем — и намного лучше, чем ничего.

Метод пограничной группы

Определите 10–20 прошлых кандидатов, которых команда согласилась считать «на грани» — могло быть в любую сторону. Посмотрите на их фактические баллы. Медиана этой группы — ваш черновой порог. Это требует исторических данных, но использует реальные доказательства вместо предположений рецензентов.

Метод контрастирующих групп

Возьмите два набора прошлых кандидатов: тех, кто получил предложение и хорошо работал в первые шесть месяцев, и тех, кто получил предложение и недостаточно хорошо работал (или не прошел на следующий раунд). Найдите оценку, которая лучше всего разделяет две распределения. Самый сильный метод, когда у вас есть данные, самый слабый, когда их нет.

Большинство команд должны начать с Angoff для первой версии новой оценки и перейти на метод пограничной группы или контрастирующих групп, когда накопятся данные.

Шаг 3: Откалибруйте против вашего фактического пула

Как только у вас есть черновой порог, запустите его против ваших последних 50–100 завершенных оценок и вычислите три числа:

• Процент прошедших. Какая часть всех отправок преодолевает порог?
• Процент прошедших в верхнем квартиле. Из кандидатов, которых вы очевидно проведете на интервью, сколько преодолевают?
• Процент прошедших в нижнем квартиле. Из кандидатов, которых вы очевидно отклоните, сколько преодолевают?

Два режима отказа, на которые нужно обратить внимание:

1. Процент прошедших в верхнем квартиле ниже 90% — ваш порог слишком высок; вы отклоняете людей, которых хотите.
2. Процент прошедших в нижнем квартиле выше 10% — ваш порог слишком низок; вы пропускаете людей, которых не хотите проводить на интервью.

Если оба числа выглядят хорошо, запустите порог. Если хотя бы одно неправильно, правильный ход, как правило, не изменить порог на 5% вверх или вниз — это посмотреть на какие вопросы неправильно классифицируют. Часто один или два плохо откалиброванных вопроса ответственны за это, и их исправление лучше, чем переполнение порога.

Шаг 4: Корректируйте по источнику, а не по должности

Старшая оценка, извлеченная из кураторского пула рефералов, имеет принципиально другое распределение баллов, чем та же оценка с открытым пулом. Одна и та же должность, одинаковые вопросы, разные входные данные.

Самый чистый способ справиться с этим:

• Держите проходной балл привязанным к оценке, а не к каналу.
• Отслеживайте процент прошедших по источникам отдельно в вашей аналитике найма.
• Используйте процент прошедших на уровне источника, чтобы решить, куда инвестировать усилия в поиск, а не изменять порог для одного канала.

Команды, которые молчаливо понижают порог для «хороших» источников, в итоге сталкиваются с двумя не связанными друг с другом проблемами: их стандарт дрейфует так, как никто не может объяснить, и их лучшие источники перестают выглядеть хорошо, когда сравнение больше не яблоко-с-яблоком.

Шаг 5: Следите за ложноотрицательной стороной

Большинство разговоров о проходных баллах сосредоточены на ложноположительных результатах — кандидатах, которые прошли, но не должны были. Ложноотрицательные результаты — сильные кандидаты, отклоненные слишком высоким порогом — невидимы по определению. Вы никогда не увидите, что они сделали бы на интервью.

Три прокси для риска ложноотрицательных результатов:

• Разногласие пограничных рецензентов. Если два рецензента оценивают одну и ту же работу и расходятся более чем на один пункт в критериях оценки, небольшие различия в пороге могут перевернуть результат на шум.
• Выбросы времени на задачу. Кандидат, который набрал чуть ниже порога за 25% отведенного времени — это другой сигнал, чем тот, кто набрал чуть ниже него за 100% времени. Первый часто — почти успех, второй часто истинный отказ.
• Согласованность при переттестировании. Для выборки пограничных отклоненных предложите краткое дополнительное упражнение. Если большинство прошли, порог слишком высок или оценка слишком шумная.

Шаг 6: Переоцените каждый квартал

Проходной балл, который был правильным в январе, вряд ли будет правильным в июне. Три драйвера дрейфа:

• Оценка стареет. Вопросы утекают в репозитории в стиле LeetCode и данные обучения AI. Баллы растут не потому, что кандидаты улучшились, а потому, что тест стал проще.
• Пул кандидатов смещается. Увольнения, рыночные изменения и сезонные закономерности — все это смещает распределение.
• Помощь AI становится нормой. По мере того, как кандидаты лучше используют LLM, то, что раньше был 70-й перцентиль, становится 40-м перцентилем.

Переложите калибровку каждый квартал на 50–100 последних отправок и отрегулируйте. Документируйте изменение и причину — будущий вы нуждается в аудиторском следе.

Что ClarityHire предоставляет

Панель аналитики найма отображает распределение баллов для каждой оценки наряду с процентом прохождения по вопросам и временем на вопрос — это то, что вам нужно как для начальной калибровки, так и для ежеквартального переоценивания. Проценты прохождения можно разделить по источнику, должности и временному окну, чтобы вы могли обнаружить дрейф до того, как он повлияет на воронку. Для команд, использующих AI-оценивание для критериев кодирования, разбор по измерениям критериев подсказывает вам, является ли пограничный кандидат пограничным по правильности, качеству кода или тестированию — три разных решения, часто объединяемые под одним баллом.

Что делать дальше

Выберите единую оценку, которую вы используете чаще всего, и проведите четырехшаговый аудит на этой неделе:

1. Напишите параграф МКК для этой оценки. Если команда не согласна с формулировкой, сделайте паузу и согласуйте, прежде чем что-либо еще.
2. Вычислите процент прохождения верхнего и нижнего квартилей для вашего текущего порога.
3. Определите два или три вопроса, выполняющих большую часть работы по неправильной классификации.
4. Выберите один метод — Angoff, если вы начинаете с нуля, контрастирующих групп, если у вас есть год данных результатов — и создайте защищаемый порог в письменном виде с приложенными доказательствами калибровки.

Проходной балл — это место, где измерение превращается в решение. Относитесь к нему как к любой другой важной инфраструктуре: документированной, протестированной и пересматриваемой по расписанию.