Оценки кодирования с открытой книгой: дизайн для эры AI
Эра закрытой книги кончена
Притворство, что кандидаты не имеют ChatGPT, Stack Overflow, GitHub Copilot и документации для каждого инструмента, который они используют, — это институциональное самообмана. Серьёзный вопрос больше не «должны ли мы позволить им использовать это?» — это «какая оценка дает сигнал, когда мы это делаем?»
Что выглядит как «открытая книга сделана хорошо»
Открытая книга не означает «проще». Сделано хорошо, это означает:
- Проблема сложнее, чем версия закрытой книги, потому что кандидат имеет инструменты.
- Оценка сосредоточена на суждении, не запоминании.
- Последующее обсуждение обязательно, потому что представление одного уже не достаточно доказательства авторства.
Три формата открытой книги, которые дают сигнал
1. «Постройте что-то реалистичное в 90 минут»
Кандидат имеет полный интернет, полный AI, полную документацию. Задача реалистична и слегка большее, чем они могли делать без помощи в это время. Оценка сосредоточена на: сделали ли они правильные архитектурные выборы, приоритизировали ли они правильно, имел ли подход тестирования смысл.
Этот формат вознаграждает опытных инженеров, которые знают что строить над быстрыми машинистами, которые могут шлифовать закрытые книги вызовы.
2. «Улучшите эту кодовую базу» упражнение
Кандидат получает рабочую, но ошибочную кодовую базу. Задача: выявить и исправить три самые большие проблемы, с письменным объяснением. Инструменты разрешены: всё.
Старший инженер с AI — намного быстрее, чем младший с AI. Дифференциатор становится, какие проблемы они выбирают исправлять.
3. «Дизайн + прототип» задача
Маленькая система дизайна проблема (40 мин), за которой следует 50-мин прототип самого интересного куска. Откройте всё. Оценка сосредоточена на обсуждении дизайна и выборах, сделанных в прототипе.
Как справедливо оценивать открытую книгу
Рубрика оценки должна измениться. Опустите «написал идиоматичный код» — Copilot это делает бесплатно. Добавьте размеры как:
- «Сделал соответствующие архитектурные выборы дано ограничения»
- «Выявил правильные вещи строить сначала»
- «Поймал неочевидный граничный случай»
- «Используемые инструменты эффективно и прозрачно»
Обязательное последующее обсуждение
30–45 минутное live обсуждение представления. Кандидат ходит через их код, объясняет выборы, берёт маленький запрос расширения. Это где авторство подтверждается.
Без последующего обсуждения, открытая книга неоценяема. С ним, открытая книга дает вам лучший сигнал, чем любое закрытое интервью когда-либо делало.