Как оценивать способность к кодированию с помощью AI на технических интервью
Вопрос интервью изменился
Два года подряд в технической найме звучал громче всего один вопрос: кандидат использовал ChatGPT? Это был неправильный вопрос. Правильный вопрос: насколько хорошо они его используют? — потому что к середине 2026 года каждый инженер, которого вы наймёте, будет половину дня работать с AI-ассистентом. Отбор против использования AI — это отбор против самой работы.
Meta, Shopify и Google перестроили свои процессы первыми: AI разрешён, иногда обязателен, и шкала оценки измеряет, как кандидат создаёт подсказки, проверяет результаты и восстанавливается при ошибках. Если ваше интервью всё ещё оценивается по чистоте компиляции решения за 30 минут, вы измеряете навык, который уже не соответствует работе.
Это та шкала оценки и формат, которые мы рекомендуем для оценки способности к кодированию с использованием AI — и как сохранить надёжность сигнала с помощью инструментов проверки целостности, которые у вас уже есть.
Почему старое интервью "без AI" перестало работать
Три причины:
- Задача на реальной работе выполняется с AI. Ваши старшие инженеры отправляют код в паре с Copilot или Claude. Найм на основе версии без помощника отбирает более узкий набор навыков, чем требует роль.
- Обнаружение асимметрично. Даже при наличии анализа согласованности кода и биометрии клавиатуры, дисциплинированные мошенники проходят через сетку, а испуганные хорошие кандидаты получают флаги. Соотношение затрат и выгод работает только для высокорисковых ролей.
- Сильные кандидаты сами выбывают. Старший инженер, который весь день работает с AI, не будет притворяться, что не использует его на вашем 45-минутном скрине. Он возьмёт предложение в компании, которая позволяет ему работать так, как он работает.
Решение — не отключать проверку целостности: сигналы о клавиатуре и согласованности кода остаются важны для обнаружения выдачи себя за другого. Нужно изменить то, что вы оцениваете: с "написал самостоятельно" на "хорошо управляет AI".
Четырёхмерная шкала оценки
Оцените каждое измерение по шкале 1–5 с якорями ниже. Добавьте их в вашу существующую карточку оценки интервью — они заменяют ось "качество кода" на старших уровнях и сидят рядом с ней на младших.
1. Качество подсказок
Что вы измеряете: могут ли они заставить модель делать полезную работу без долгого туда-сюда?
- 5 — Подсказки включают цель, ограничения, релевантный код или схему и желаемый формат вывода. Одна подсказка даёт полезный результат.
- 3 — Подсказки достигают результата за 2–3 раунда. Некоторый ненужный объём или недостающий контекст.
- 1 — Односложные подсказки вроде "исправь это". Надежда, что модель угадает, что они имеют в виду.
2. Проверка выходных данных
Что вы измеряете: они доверяют модели или проверяют?
- 5 — Запускает сгенерированный код на тестовых случаях перед чтением. Находит недостающий граничный случай, слегка неправильное значение по умолчанию, устаревший API. Пишет ещё один тест для подтверждения.
- 3 — Внимательно читает код, но в основном доверяет, что он работает. Ловит только очевидные ошибки.
- 1 — Копирует и отправляет. На вопрос "вы уверены?" не может объяснить почему.
3. Восстановление от плохих генераций
Что вы измеряете: когда модель сходит с рельс, могут ли они направить её обратно?
- 5 — Распознаёт паттерн отказа (галлюцинированный метод, неправильный фреймворк, выдуманная переменная окружения) в течение секунд. Переформулирует подсказку с недостающим контекстом или переходит к самостоятельному написанию исправления.
- 3 — Замечает после того, как запуск не удался. Пробует другую подсказку. Иногда получает результат.
- 1 — Застрял в цикле. Продолжает использовать одну и ту же подсказку и вставлять тот же сломанный код.
4. Коммуникация
Что вы измеряете: могут ли они объяснить, что они просили у AI, что получили и почему оставили или отклонили это?
- 5 — Рассказывает выбор в реальном времени: "Я дал ему схему и попросил запрос, который обрабатывает столбец мягкого удаления — он вернул join, который мне не нужен, поэтому я его урезаю". Принимают ответственность.
- 3 — Объясняет постфактум. В основном точно.
- 1 — Не может объяснить, почему код выглядит так. AI его написал; они его отправили.
Эти четыре оси коррелируют с продуктивностью AI на реальной работе намного лучше, чем устаревшая оценка "пишет правильный код за 25 минут".
Формат интервью, который выявляет эти сигналы
Слот продолжительностью 60 минут, построенный вокруг работы с AI, а не против неё:
- 0–5 мин: брифинг. Дайте кандидату небольшую неоднозначную задачу — расширить существующий репо из 200 строк с новой функцией или отследить тонкий отказ в реальном коде. Скажите им, что AI-ассистент поощряется и подсказки, которые они используют, являются частью оценки.
- 5–45 мин: разработка с AI. Смотрите, как они работают в совместном редакторе кода с AI-ассистентом на выбор. Не прерывайте в течение первых 10 минут. Делайте записи по осям шкалы.
- 45–55 мин: защита результата. Запустите код вместе. Попросите их пройтись по одной функции, которую они приняли от AI, и одной, которую они переписали. Почему каждая? В чём модель ошибалась?
- 55–60 мин: расширение. "Если бы входные данные были в 100 раз больше, как бы решение AI сломалось?" Кандидат, который действительно понял код, назовёт проблему за 30 секунд.
Небольшой поворот в формате без LeetCode: вместо того, чтобы просить кандидата расширить функцию без AI, попросите сделать это с AI и оцените сотрудничество.
Вопросы, которые выявляют беглость в AI
Используйте их в середине интервью, не в конце:
- "Покажите мне подсказку, которую вы бы написали для этого."
- "Что одно из того, что вам только что сказала модель, вы не доверяете? Почему?"
- "Если бы ваш AI был в автономном режиме, как бы вы решили это иначе?"
- "Пройдитесь по этой функции — что она сгенерировала в сравнении с тем, что вы изменили?"
Последний — это вопрос с наибольшим сигналом в цикле. Кандидат, который не может ответить на вопрос о функции, которую он "написал" две минуты назад, отправляет AI-вывод, который не понимает. Это именно тот режим отказа, против которого вы нанимаете.
Распространённые режимы отказа и что они говорят
- Подсказка и вставка, никогда не запускать. Низкая оценка проверки. Будет отправлять сломанный код в production.
- Бесконечное переформулирование с одним и тем же сломанным результатом. Низкая оценка восстановления. Не может отлаживать свои инструменты.
- Гладкое словесное объяснение, не может ответить на уточняющий вопрос. Вероятно, отрепетировано с AI перед звонком. Давите сильнее на вопрос "что бы вы изменили?", подобно технике для допроса при отправке take-home.
- Отказывается использовать AI вообще. Сама по себе не ошибка — но в 2026 году стоит спросить, как они отправляют код на текущей работе.
Держите сигналы целостности включёнными
Разрешение на AI — это не то же самое, что отключение проверки целостности. Держите захват событий клавиатуры и проверку присутствия лица включёнными, чтобы вы всё ещё ловили выдачу себя за другого и передачу экрана. Что изменяется, так это то, что получает флаг: вставка из ChatGPT в редактор больше не является красным флагом — это точка данных о качестве подсказок. Отчёт о целостности становится свидетельством того, как кандидат работал, а не того, обманывал ли он.
Что делать дальше
Три изменения дают результаты в этом квартале:
- Добавьте четырёхмерную рубрику AI в вашу карточку оценки для одной роли. Запустите её на пяти кандидатах и сравните со старыми оценками.
- Перепишите одно техническое интервью для предположения об использовании AI. Сохраните структурированный формат интервью — меняется только рубрика.
- Калибруйте панель. Смотрите одну записанную сессию вместе и оцените каждую ось независимо перед обсуждением. Несогласие по оси коммуникации — это обычно то место, где вы находите ваш самый сильный сигнал.
Нанимайте для работы, которую роль действительно выполняет. В 2026 году эта работа выполняется с AI; ваше интервью тоже должно быть.