Evaluări de coding open-book: Când și cum

Era closed-book s-a încheiat

Pretinde că candidații nu au ChatGPT, Stack Overflow, GitHub Copilot și documentația pentru fiecare instrument pe care îl folosesc este autoinducție instituțională. Întrebarea serioasă nu mai este "ar trebui să le permitem să le folosească?" — este "ce evaluare produce semnal când o facem?"

Arată „open-book făcut bine" cum

Open-book nu înseamnă „mai ușor." Făcut bine, înseamnă:

• Problema este mai grea decât o versiune closed-book, deoarece candidatul are instrumente.
• Evaluarea se concentrează pe judecată, nu recall.
• Follow-up-ul este obligatoriu, deoarece trimiterea singură nu mai este dovadă suficientă de paternitate.

Trei formate open-book care produc semnal

1. "Construiți ceva realist în 90 de minute"

Candidatul are internet complet, IA completă, docs complete. Sarcina este realistă și ușor mai mare decât ar putea face neajutorat în timp. Evaluarea se concentrează pe: au făcut alegerile arhitecturale corecte, au prioritizat corect, abordarea testării are sens.

Acest format recompensează inginerii experimentați care știu ce să construiască mai mult decât dactilografi rapidi care pot face provocări closed-book.

2. Exercițiul "îmbunătățiți această bază de cod"

Candidatul primește o bază de cod care funcționează dar cu defecte. Sarcină: identifică și remediază cele trei probleme cele mai mari, cu o explicație scrisă. Instrumente permise: oricare.

Un inginer senior cu IA este mult mai rapid decât un junior cu IA. Diferențiatorul devine care probleme aleg să remedieze.

3. Sarcina "design + prototip"

O mică problemă design de sistem (40 min) urmată de prototip de 50 de minute a piesei cel mai interesant. Deschideți totul. Evaluarea se concentrează pe discuția de design și alegerile făcute în prototip.

Cum să evaluați open-book corect

Rubrica de evaluare trebuie să se schimbe. Renunțați la "cod scris idiomativ" — Copilot o face gratis. Adăugați dimensiuni cum ar fi:

• "Am făcut alegerile arhitecturale corespunzătoare date constrângeri"
• "Am identificat lucrurile corecte de construit mai întâi"
• "Am găsit cazul de margine non-obviu"
• "Am folosit instrumentele eficient și transparent"

Follow-up-ul obligatoriu

O discuție live de 30–45 de minute cu privire la trimitere. Candidatul parcurge codul, explică alegerile, ia o mică cerere de extensie. Aici se confirmă paternitatea.

Fără follow-up, open-book este nescorabil. Cu aceasta, open-book vă dă semnal mai bun decât orice interviu closed-book a făcut vreodată.