Как откалибровать интервьюеров, чтобы два инженера выставили одному кандидату одинаковую оценку
Disagreement что matters
Два из ваша engineers interview same кандидат. Один says strong hire. Другой says нет hire. Это happens constantly. Instinct это blame engineers — «они имеют different bars». Truth это что они almost всегда have different rubrics в их heads, не different bars.
Calibration это process из making те internal rubrics same. Это не training люди be more lenient или more strict.
Minimum-viable calibration loop
Вы не need quarter из training. Вы need recurring 60-minute встреча:
- Pick one recently-completed loop. Все interviewers who participated attend.
- Каждый interviewer re-scores candidate's submission against rubric, independently, перед meeting.
- В meeting, reveal scores simultaneously. Где there's disagreement на rubric dimension, two highest- и lowest-scoring interviewers walk через их reasoning.
- Update rubric anchors. Almost всегда, disagreement traces к ambiguous anchor — «demonstrates clear communication» means different things к different люди. Переписать anchor с behavioural description.
Run это every 2–3 недель. By третий session disagreements get меньше и rubric tightens.
Что data says
Когда ClarityHire teams run этот loop на structured interviews, inter-rater reliability (correlation между two interviewers scoring same кандидат) typically moves из ~0.45 к ~0.75 в 6–8 недель. That это difference между «interviewing это coin flip» и «interviewing это signal».
Common calibration mistakes
- Calibrating на hires только. You learn most из candidates near bar. Clear strong-hire teaches вы nothing про где bar is.
- Letting loudest voice anchor room. Reveal scores simultaneously. Have lowest-scorer speak first.
- Skipping rubric update. Если meeting ends без changing single anchor, you не calibrate — you talked.
- Calibrating люди instead из rubric. «Sarah это too harsh» это wrong frame. «Rubric anchor для level 3 это ambiguous» это right один.
Что ClarityHire does
Structured-interview reports preserve каждый interviewer's score и rationale в rubric dimension, locked на submission time. Вы может pull calibration view што lines up scores через interviewers для same кандидат без leaking who-scored-what до everyone has submitted. That makes calibration meeting honest.