How to Grade Take-Home Assignments Fairly

採点のボトルネック

ほとんどのチームがテイクホームテストを排除するのは、候補者がそれを嫌うからではなく、面接官がそれを嫌うからです。90分の提出はレビュアーあたり30分の集中したレビューを取ります。提出10までに、注意が下がり、金曜日の午後に到着する候補者は月曜日の朝に到着する候補者とは異なる評価を受けます。

修正は「テイクホームの使用を停止する」ことではありません。修正は構造化された採点です。

ステップ1：テストを書く前にルーブリックを書く

ルーブリックは自分自身との契約です。提出を見る前に書き、スコアを4～6の次元に分割します：

• 正しさ — それは述べられた問題を解決しますか？
• コード品質 — 書いていない人が読むことができますか？
• テストカバレッジ — 明らかなエッジケースがカバーされていますか？
• アーキテクチャ — これは拡張するのが簡単でしょうか？
• コミュニケーション — READMEはトレードオフについて明確ですか？

各次元は0～4ポイントを取得し、明示的なアンカーがあります。「3 =すべての述べられた要件と2つの最も明らかなエッジケースを処理します。」

ステップ2：採点する前にキャリブレーションする

3つの提出を目をつぶって選択します。2人のレビュアーに独立してスコアを付けさせます。比較します。任意の次元で1ポイント以上が不一致の場合、ルーブリックは問題です。レビュアーではなく — アンカーを修正して再度試してください。

ステップ3：判断官としてではなく、最初のパスレビュアーとしてAIを使用する

LLM採点は退屈な部分に優れています：彼らはテストを含めましたか、READMEはプロンプトに答えましたか、明らかなバグはありますか。「これは優雅ですか」というのは悪いです。ドラフトスコアと観察のリストを生成するために使用します。人間のレビュアーが確認または上書きします。

ClarityHireはこのパターンをボックスの外に出荷します：AI graderはルーブリックスコアと注記をすべて記入し、面接官がレビューして調整します。平均レビュー時間は30分から約8分に低下します。

ステップ4：可能な限り匿名化する

ルーブリックパスの間、採点者から候補者の名前と再開を隠します。「エリート」背景から「非伝統的」背景からの提出がどのようにスコアされるかについてのギャップを減らします。

ステップ5：無料でするようなものでテストをキャップする

テイクホームがあなたに4時間かかる場合は、候補者が2時間かかることを偽る必要はありません。彼らの時間を尊重し、あなたのファネルが広がります。