Cum să stabiliți nota de trecere pentru o evaluare de cod

Modul greșit: "să zicem 70%"

Majoritatea echipelor aleg o notă de trecere sondând sala. "Ce vi se pare corect? 70? Să zicem 75." Cifra se notează, evaluarea devine live și se revizuiește doar atunci când pâlnia suferă — fie prea puțini candidați depășesc pragul și rolul rămâne vacant, fie prea mulți o fac și runda de interviu live este copleșită.

O notă de trecere nu este o senzație. Este cea mai importantă decizie într-o singură variabilă în pâlnia dvs. de angajare: fiecare punct pe care îl mutați schimbă cine ajunge la etapa următoare. Merită o metodă.

Ce reprezintă de fapt o notă de trecere

Formal, o notă de trecere este pragul care separă un candidat minim calificat (MQC) — cel mai scăzut nivel de abilitate pe care l-ați angaja în continuare — de cineva pe care nu l-ați avansa. Tot ceea ce urmează provine din acea singură definiție.

Două confuzii frecvente:

• O notă de trecere nu este scorul așteptat al unei angajări tipice. Este podeaua. Majoritatea angajărilor dvs. ar trebui să o depășească confortabil.
• O notă de trecere nu este o măsură a dificultății testului. Două evaluări cu dificultăți foarte diferite pot avea același MQC și, prin urmare, note de trecere foarte diferite.

Pasul 1: Scrieți MQC

Înainte de a modifica cifra, scrieți o descriere cu un paragraf a candidatului minim calificat pentru acest rol pe această evaluare. Fiți specific:

"Un inginer backend cu 2-3 ani de experiență în producție care poate implementa un endpoint CRUD cu validare a intrării, poate scrie un test pentru caz fericit și poate gestiona un caz marginal fără solicitare. Este posibil să rateze unu dintre cele trei cazuri marginale secundare. Produce cod lizibil, dar nu întotdeauna elegant."

Dacă nu puteți scrie acest paragraf, nu sunteți gata să stabiliți o notă de trecere. Executați o sesiune de calibrare cu panelul de angajare până când puteți.

Pasul 2: Alegeți o metodă

Trei metode pe care le folosesc practicienii, în ordinea crescătoare a rigoarei:

Estimare în stil Angoff

Un panou de 3-5 ingineri familiari cu rolul iau evaluarea ei însuși, apoi revizuiesc fiecare element și estimează probabilitatea că un MQC ar putea răspunde corect. Însumați acele probabilități și aveți o notă de trecere preliminară. Crud, dar defensibil — și cu mult mai bun decât nimic.

Metoda grupului liminar

Identificați 10-20 de candidați din trecut cu care echipa a fost de acord că erau „pe bula" — ar fi putut merge în oricare sens. Uitați-vă la scorurile lor reale. Mediana acelui grup este tăietura dvs. preliminară. Aceasta necesită date istorice, dar utilizează dovezi reale în loc de ghicitori de revizuitori.

Metoda grupurilor contrastante

Trageți două seturi de candidați din trecut: cei care au primit ofertă și au performanț bine în primele lor șase luni, și cei care au primit ofertă și au avut performanțe slabe (sau nu au fost angajați în runda următoare). Găsiți scorul care separă cel mai bine cele două distribuții. Metoda cea mai puternică atunci când aveți datele, cea mai slabă atunci când nu aveți.

Majoritatea echipelor ar trebui să înceapă cu Angoff pentru prima versiune a unei noi evaluări și să migreze la metoda grupului liminar sau a grupurilor contrastante pe măsură ce datele se acumulează.

Pasul 3: Calibrați împotriva pool-ului dvs. real

Odată ce aveți o tăiere preliminară, executați-o împotriva últimelor 50-100 de evaluări completate și calculați trei numere:

• Rata de trecere. Ce fracție din toate înmisiunile depășesc pragul?
• Rata de trecere a cuartilei superioare. Dintre candidații pe care i-ați intervieva cu siguranță, câți depășesc?
• Rata de trecere a cuartilei inferioare. Dintre candidații pe care i-ați respinge cu siguranță, câți depășesc?

Două moduri de eșec de căutat:

1. Rata de trecere a cuartilei superioare sub 90% — tăietura dvs. este prea mare; respingeți oameni pe care îi doriți.
2. Rata de trecere a cuartilei inferioare peste 10% — tăietura dvs. este prea scăzută; lăsați să treacă oameni pe care nu doriți să-i intervievati.

Dacă ambele numere arată bine, lansați tăietura. Dacă oricare dintre ele nu este în regulă, mișcarea corectă nu este de obicei să glisați tăietura sus sau jos cu 5% — este să priviți ce întrebări sunt greșit clasificate. Adesea una sau două întrebări prost calibrate sunt responsabile, iar remedierea lor este mai bună decât reacordarea pragului.

Pasul 4: Ajustați pentru sursă, nu pentru rol

O evaluare de nivel superior extrasă dintr-un pool de referințe curate are o distribuție de scor fundamental diferită decât aceeași evaluare cu un pool de apel deschis. Același rol, aceleași întrebări, intrări diferite.

Modul cel mai curat de a gestiona aceasta:

• Țineti nota de trecere legată de evaluare, nu de canal.
• Urmăriți rata de trecere după sursă separat în analitică de angajare.
• Utilizați ratele de trecere la nivel de sursă pentru a decide unde să investiți efortul de sourcing, nu pentru a îndoi bara pentru un canal.

Echipele care scad în liniște tăietura pentru sursele „bune" ajung cu două probleme neînrudite: bara lor se deplasează în moduri pe care nimeni nu le poate articula, iar sursele lor cele mai bune încetează să arate la fel de bine după ce comparația nu mai este egal cu egal.

Pasul 5: Observați partea de fals-negativă

Majoritatea conversațiilor despre nota de trecere se concentrează pe fals-pozitive — candidații care au trecut dar nu ar fi trebuit. Fals-negativele — candidații puternici respinși de o bară prea înaltă — sunt invizibili din definiție. Nu veți vedea niciodată ce ar fi făcut la interviu.

Trei proxy-uri pentru riscul de fals-negativ:

• Dezacord la revizuire a grupului liminar. Dacă doi revizuitori notează aceeași trimitere și nu sunt de acord cu mai mult de un punct pe rubrica, diferențele mici de tăiere pot răsturna rezultatul pe bază de zgomot.
• Anomalii de timp pe sarcină. Un candidat care a scored chiar sub tăiere în 25% din timp alocat este un semnal diferit decât unul care a scored chiar sub ea în 100% din timp. Primul este adesea o cale pierdută, al doilea este adesea un adevărat refuz.
• Acord la re-test. Pentru un eșantion de refuzuri liminare, oferiți un exercițiu de follow-up scurt. Dacă majoritatea trec, tăietura este prea ridicată sau evaluarea prea zgomotoasă.

Pasul 6: Re-score în fiecare trimestru

O notă de trecere care era corectă în ianuarie este puțin probabil să fie corectă în iunie. Trei impulsuri ale derivei:

• Evaluarea se îmbătrânește. Întrebările se scurg în depozitele de stil LeetCode și datele de antrenament AI. Scorurile cresc nu pentru că candidații s-au îmbunătățit, ci pentru că testul a devenit mai ușor.
• Pool-ul de candidați se schimbă. Concedieri, schimbări de piață și modele sezoniere se mișcă distribuția.
• Asistența AI se normalizează. Pe măsură ce candidații devin mai buni la folosirea LLM-urilor, ceea ce era o notă de 70% devine una de 40%.

Re-executați calibrarea în fiecare trimestru pe cea mai recentă 50-100 de trimiteri și ajustați. Documentați schimbarea și motivul — viitorul dumneavoastră are nevoie de pista de audit.

Ce expune ClarityHire

Tabloul de bord de analiză a angajărilor redă distribuția scorurilor pentru fiecare evaluare alături de ratele de trecere per întrebare și timp per întrebare, care este ceea ce aveți nevoie atât pentru calibrarea inițială, cât și pentru re-score trimestrial. Ratele de trecere pot fi împărțite după sursă, rol și fereastră de timp, astfel încât să puteți detecta deriva înainte ca aceasta să se manifeste în pâlnie. Pentru echipele care rulează rubricile de codare evaluate de AI, descompunerea per dimensiune a rubricii vă spune dacă un candidat liminar este liminar pe corectitudine, calitate a codului sau testare — trei decizii diferite, adesea confundate sub un singur scor.

Ce să faceți în continuare

Alegeți evaluarea pe care o utilizați cel mai des și executați audiția cu patru pași această săptămână:

1. Scrieți paragraful MQC pentru acea evaluare. Dacă echipa nu este de acord cu formularea, faceți pauză și reconciliați înainte de a face orice altceva.
2. Calculați ratele de trecere ale cuartilei superioare și inferioare în funcție de tăietura dvs. curentă.
3. Identificați cele două sau trei întrebări care fac cea mai mare parte a muncii de greșite clasificări.
4. Alegeți o metodă — Angoff dacă porniți de la zero, grupuri contrastante dacă aveți un an de date de rezultate — și produceți o tăiere defensibilă, în scris, cu dovezile de calibrare ataşate.

Nota de trecere este locul în care măsurarea se transformă în decizie. Tratați-o ca orice altă bucată importantă de infrastructură: documentată, testată și revizuită conform unei programe.