Hoe je interviewers kalibreert zodat twee engineers dezelfde kandidaat hetzelfde scoren
De onenigheid die telt
Twee van je engineers interviewen dezelfde kandidaat. Een zegt sterke aanwerving. De ander zegt geen aanwerving. Dit gebeurt constant. Het instinct is de engineers de schuld geven—"zij hebben verschillende standaarden." De waarheid is dat zij bijna altijd verschillende rubrics in hun hoofd hebben, niet verschillende standaarden.
Calibratie is het proces om die interne rubrics hetzelfde te maken. Het is niet mensen trainen om leniëer of strenger te zijn.
De minimaal-levensvatbare calibratie-lus
Je hebt geen kwartaal training nodig. Je hebt een terugkerende 60-minuten-vergadering nodig:
- Kies één recent voltooide lus. Alle interviewers die deelnamen, wonen bij.
- Elke interviewer rescoret de inzending van de kandidaat tegen de rubric, onafhankelijk, voordat de vergadering.
- In de vergadering scores tegelijk onthullen. Waar onenigheid bestaat over een rubric dimensie, lopen de twee hoogst en laagst scorende interviewers door hun redenering.
- Werk de rubric ankers bij. Bijna altijd traceren de onenigheid naar een dubbelzinnig anker—"demonstreert duidelijke communicatie" betekent verschillende dingen voor verschillende mensen. Herschrijf het anker met een gedragsbeschrijving.
Voer dit elke 2-3 weken uit. Bij de derde sessie worden de onenigheid kleiner en de rubric strakker.
Wat de gegevens zeggen
Wanneer ClarityHire-teams deze lus uitvoeren op gestructureerde interviews, inter-scorer betrouwbaarheid (de correlatie tussen twee interviewers die dezelfde kandidaat scoren) typisch beweegt van ongeveer 0,45 naar ongeveer 0,75 binnen 6-8 weken. Dat is het verschil tussen "interviewing is een muntworpen" en "interviewing is signaal."
Veelgemaakte calibratie-fouten
- Kalibreren op alleen aanwervingen. Je leert het meest van kandidaten dicht bij de standaard. Een duidelijke sterke-aanwerving leert je niets over waar de standaard is.
- De luidste stem in de ruimte laten ankeren. Scores tegelijk onthullen. De laagste-scorer eerst spreken.
- Springing van de rubric update. Als de vergadering eindigt zonder één anker te veranderen, heb je niet gekalibreerd—je hebt gepraat.
- Kalibrering van de mensen in plaats van de rubric. "Sarah is te streng" is het verkeerde frame. "De rubric anker voor niveau 3 is dubbelzinnig" is het juiste.
Wat ClarityHire doet
De gestructureerde-interview rapporten behouden elke interviewer's score en redenering per rubric dimensie, vergrendeld op inzendingstijd. Je kunt een calibratie-weergave trekken die scores over interviewers voor dezelfde kandidaat uitlijnt zonder wie-gescord-wat te lekken tot iedereen heeft ingediend. Dat maakt de calibratie-vergadering eerlijk.