Как построить hiring scorecard для старших программистов
Почему mid-level scorecard breaks на senior
Mid-level engineer rubric usually scores: coding ability, problem solving, communication, system design, culture add. Это fine. Это также useless на senior.
Reason: every senior кандидат scores 4–5 на coding. Coding no longer bottleneck — judgement. Если ваша senior scorecard dominated «code quality» и «problem solving», вы будете end hiring на whichever axis happens vary, который на senior usually «did они vibe с panel». Это как вы get 200-engineer org из clones.
Five axes что фактически separate senior candidates
1. Scope judgement. Given ambiguous проблема, они cut scope к что's actually load-bearing? Или они expand scope display depth? 5 здесь «identifies smallest версия что solves real проблема и ships это». 1 «rebuilds world demonstrate competence». Это single most discriminating axis на senior — и это almost никогда appears на mid-level rubrics.
2. Trade-off articulation. Pick any senior decision (consistency vs. availability, build vs. buy, throughput vs. latency). Может ли кандидат name trade-off, name who pays cost каждый side, и pick один с stated rationale? Не «это depends» — но «given X, я'd pick Y, и вот что breaks first». Vague «это depends» это failure mode на senior.
3. Calibrated confidence. Они know что они не знают? Senior who answers «я don't know — вот как я'd find out» operating на higher level чем один who confidently bullshits их way через. Score это explicitly. Behavioural anchor для 5 «flags их own uncertainty unprompted, и proposes verification step».
4. Influence и leverage. На senior, job increasingly make other engineers more эффективный. Ask про specific time они unblocked someone else, или shipped change что made team faster. 5 это concrete, named, recent. 1 это «я'm strong collaborator» без single named example.
5. System design или domain depth, role-specific. Это где mid-level rubrics over-index. На senior, это still matters — но как one axis из five, не whole rubric. Используйте system design rubric template для anchors здесь.
Что remove из senior scorecard
- Generic «communication». Communication это real, но senior signal это «они explain trade-off к non-technical stakeholder» — который already captured по axis 2. Generic версия это vibes-trap.
- «Years из experience». Это не scorecard axis. Это filter, и это belongs на application knockout, не на rubric.
- «Culture add». Either переписать его в behavioural value-specific вопрос («describe time вы disagreed с strongly-held team consensus и что вы did») или drop это. Generic версия это bias-laundering machine.
Weighting
Не weight все axes equally для senior. Common pattern что works:
- Scope judgement: 25 %
- Trade-off articulation: 25 %
- Calibrated confidence: 15 %
- Influence и leverage: 15 %
- Domain depth: 20 %
Tune к ваша org, но resist making domain depth more чем ~25 %. Если это dominates, вы're hiring mid-level инженер с five extra лет на CV.
Как использовать scorecard в loop
Каждый interviewer scores их two assigned axes — не все five. (Asking один interviewer grade scope judgement и domain depth это как вы get tired score distributions.) Каждый axis gets least два independent scorers через loop, поэтому вы может compute inter-rater agreement.
Score independently. Debrief later. Calibration loop catches drift. Tie scores recommendation (strong_hire / hire / no_hire / strong_no_hire) только на debrief — не на individual rubric.
Как ClarityHire structures это
Structured scorecard lets вы define per-axis behavioural anchors, per-axis weights, и per-axis ownership через panel. Каждый interviewer sees только их assigned axes во время scoring; consolidated panel view aggregates после independent submission suppress anchoring bias. Inter-rater drift surfaces на calibration dashboard.
TL;DR
Senior scorecard это judgement, trade-off articulation, calibrated confidence, influence, и weighted slice из domain depth. Strip out generic communication, generic «culture add», и years-of-experience proxies. Distribute axes через panel и score independently. Это как вы stop hiring senior engineers по vibes.