コーディング評価の合格スコアを設定する方法
間違った方法: 「70%にしよう」
ほとんどのチームは合格スコアを根拠のない予想で決めています。「どれくらいが適切だろう？70%？いや、75%にしよう」という具合です。その数字が決まり、評価がライブになると、採用ファネルが機能しなくなるまで見直されることはありません。つまり、合格者が少なすぎてポジションが埋まらないか、多すぎて次の面接ラウンドが膨大になるかのどちらかです。
合格スコアは感覚的なものではなく、採用ファネルの中で最も重大な単一の決定です。スコアを1ポイント動かすだけで、次のステージに進む候補者が変わります。これは方法論に基づいて決めるべきです。
合格スコアが実際に意味すること
正式には、合格スコアは最小限の資格を持つ候補者（MQC） — つまり、採用を検討する最低限のスキルレベル — と、合格させたくない候補者を分ける境界線です。他のすべてはこの1つの定義から生まれます。
よくある2つの勘違い：
- 合格スコアは、典型的な採用者の予想スコアではなく、最低ラインです。採用者の大多数はこれより遥かに高い点数を取るはずです。
- 合格スコアは評価の難易度を測定するものではありません。難易度が大きく異なる2つの評価でも、同じ MQC を持つため、合格スコアは異なります。
ステップ1: MQC を文章化する
スコアに触れる前に、このロールのこの評価における最小限の資格を持つ候補者について、1段落で説明してください。具体的に記述してください。
「本番環境で2～3年の経験を持つバックエンド エンジニア。入力検証付きの CRUD エンドポイントを実装でき、ハッピーパス用のテストを書くことができ、プロンプトなしで1つのエッジケースに対応できる。3つ目のエッジケースを1～2つ見落とす可能性がある。読みやすいコードを書くが、必ずしも優れたコードではない。」
この段落が書けない場合、合格スコアを設定する準備ができていません。採用担当パネルとキャリブレーション セッションを実施して、コンセンサスを得てください。
ステップ2: 方法を選ぶ
実務家が使用する3つの方法があり、厳密性の順に並べられています。
アンゴフ法
このロールに精通した3～5人のエンジニアで構成されたパネルが評価を実施し、各問題を確認します。その後、最小限の資格を持つ候補者がそれぞれの問題に正解する確率を推定します。これらの確率を合計すると、暫定的な合格スコアが得られます。粗いながらも防御可能な方法で、何もないよりはずっと良いです。
ボーダーライン・グループ法
採用チームが「ボーダーライン」だと同意した過去の候補者10～20人を特定します。彼らは採用の是非が紙一重だった人たちです。彼らの実際のスコアを確認します。このグループの中央値があなたの暫定的な合格スコアになります。この方法は過去のデータが必要ですが、レビューアーの推測よりも実在する根拠に基づいています。
コントラスティング・グループ法
2つのグループの過去の候補者を取得します。1つは採用を勝ち取った後、最初の6ヶ月間で十分なパフォーマンスを発揮した候補者のグループ。もう1つは採用を勝ち取った後、パフォーマンスが低かった（または次のラウンドで落選した）候補者のグループです。2つの分布を最も良く分離するスコアを見つけます。データがある場合は最も強力な方法ですが、データがない場合は最も弱い方法です。
ほとんどのチームは、新しい評価の最初のバージョンではアンゴフ法で開始し、データが蓄積されるにつれてボーダーライン法またはコントラスティング・グループ法に移行するべきです。
ステップ3: 実際のプールに対してキャリブレーションを行う
暫定的な合格スコアが決まったら、過去50～100件の完了した評価に対して実行し、3つの数値を計算します。
- 合格率。 全提出のうち、何割が合格ラインを超えているか？
- 上位四分位数の合格率。 明らかに面接すべき候補者のうち、何割が合格ラインを超えているか？
- 下位四分位数の合格率。 明らかに不合格とすべき候補者のうち、何割が合格ラインを超えているか？
注意すべき2つの失敗パターンがあります。
- 上位四分位数の合格率が90%未満 — 合格ラインが高すぎます。採用したい人を落としています。
- 下位四分位数の合格率が10%以上 — 合格ラインが低すぎます。面接させたくない人を通してしまっています。
両方の数値が良好に見える場合は、その合格スコアを採用してください。どちらかがおかしい場合、通常は合格スコアを5%上下に動かすことではなく、どの問題が候補者を誤分類しているかを確認するべきです。多くの場合、キャリブレーションが不十分な1～2の問題が原因であり、閾値を調整するより、それらを修正する方が良いです。
ステップ4: ロールではなく、ソースで調整する
キュレーション済みの紹介プールから取得した上級評価は、オープンコール プールでの同じ評価とは、根本的に異なるスコア分布を持っています。ロールと問題は同じですが、入力が異なります。
これを処理するための最もシンプルな方法は次の通りです。
- 合格スコアをチャネルではなく、評価に結びつけておきます。
- 採用分析でソース別の合格率を個別に追跡します。
- ソースレベルの合格率を使って、ソーシング努力をどこに投資するかを決めます。あるチャネルの合格ラインを曲げるために使いません。
特定の「良い」ソースの合格ラインをひっそり下げるチームは、2つの無関係な問題に直面します。彼らの合格ラインは誰も説明できない方法でドリフトし、比較がもはやりんご対りんごではなくなると、彼らの最高のソースは見栄えが悪くなります。
ステップ5: 偽陰性に注意する
ほとんどの合格スコア検討は偽陽性に焦点を当てています。つまり、合格したが合格すべきではなかった候補者です。偽陰性 — 合格ラインが高すぎて落とされた有能な候補者 — は定義上見えません。彼らが面接でどのようなパフォーマンスを発揮したであろうかは決してわかりません。
偽陰性リスクの3つのプロキシ：
- ボーダーライン レビューアー間の意見の相違。 2人のレビューアーが同じ提出物を評価し、ルーブリックで1ポイント以上の相違がある場合、合格スコアの小さな変更が結果をノイズで反転させる可能性があります。
- タスク実行時間の外れ値。 合格ラインをわずかに下回るスコアを割り当てられた時間の25%で達成した候補者は、100%かけて達成した候補者とは異なるシグナルです。前者はしばしば惜しい落選、後者は本当の不合格です。
- 再テスト一致。 ボーダーライン不合格者のサンプルに対して、短いフォローアップ演習を提供します。ほとんどが合格する場合、合格ラインが高すぎるか、評価がノイズが多すぎます。
ステップ6: 四半期ごとに再スコア化する
1月に適切だった合格スコアは、6月にも適切である可能性は低いです。ドリフトの3つの要因があります。
- 評価が時代遅れになる。 問題は LeetCode スタイルのリポジトリや AI トレーニング データに漏洩します。スコアは候補者の能力が向上したのではなく、テストが簡単になったために上昇します。
- 候補者プールがシフトする。 レイオフ、市場変化、季節パターンはすべて分布を移動させます。
- AI支援が標準化される。 候補者が LLM をうまく使うようになると、かつての70パーセンタイル スコアが40パーセンタイル スコアになります。
四半期ごとに最新の50～100件の提出に対してキャリブレーションを再実行し、調整してください。変更と理由を文書化してください — 将来のあなたが監査証跡を必要とします。
ClarityHire が提供するもの
採用分析ダッシュボードは、すべての評価のスコア分布を、問題別の合格率と問題別の実行時間と共にレンダリングします。これは初期キャリブレーション時と四半期ごとの再スコア化の両方で必要なものです。合格率はソース、ロール、時間枠別に分割でき、ドリフトがファネルに現れる前に検出できます。チームがAI採点コーディング ルーブリックを実行している場合、ルーブリック別の項目の内訳は、ボーダーライン候補者が正確性、コード品質、またはテストのいずれの面でボーダーラインであるかを示します。これは通常、1つのスコアの下に混在している3つの異なる決定です。
次のステップ
最も頻繁に使用する単一の評価を選び、この週に4ステップの監査を実行してください。
- その評価の MQC 段落を書いてください。チームが用語の表現に同意しない場合は、他に進む前に一時停止し、調整してください。
- 現在の合格スコアに対して、上位四分位数と下位四分位数の合格率を計算してください。
- 最も誤分類の作業を行っている2～3つの問題を特定してください。
- 1つの方法を選んでください — ゼロから開始する場合はアンゴフ法、1年分の成果データがある場合はコントラスティング・グループ法 — そして、書面による防御可能な合格スコアを作成し、キャリブレーション エビデンスを添付してください。
合格スコアは、測定が決定に変わるポイントです。他の重要なインフラストラクチャと同じように扱ってください。文書化され、テストされ、スケジュールに基づいて見直されるべきです。