データサイエンティストの技術評価：SQLトリビアだけではない
あなたの会社での「データサイエンティスト」の実態
評価を設計する前に、役割を正直に名前付けします。このラベルは非常に異なるジョブを含みます：
- 分析寄りDS。 SQL、ダッシュボード、実験分析、ステークホルダーコミュニケーション。
- ML寄りDS。 モデルトレーニング、特徴エンジニアリング、評価、時々本番化。
- 研究寄りDS。 新規モデリング、統計的厳密さ、出版品質の作業。
単一のテストは3つすべてを測定することはできません。このハイアで採用するのはどれかを選ぶことが最初の決定です。
役割フレーバーごとの評価形式
分析DS
乱雑なデータセット（CSV、約10MB、意図的に重複、ヌル値、1列の微妙な定義の不一致）を提供します。曖昧さが増す3つのビジネス質問をします：
- 具体的：「7日リテンション率は？」
- やや曖昧：「機能X起動以来、リテンションが変わったか？」
- オープン：「このデータについてプロダクトチームが知るべきことは何ですか？」
採点：Q1のSQL/Python正確性、Q2の統計的推論、Q3の判断と通信。
ML DS
目標を持つタビュラーデータセット。90分。ノートブック環境。
採点：特徴エンジニアリングの選択、モデル評価方法（最終メトリックではなく、どのように評価したか）、漏洩とオーバーフィッティングの認識、短いライトアップでのトレードオフの通信。
メトリックは重要ではありません。クリーンなクロスバリデーションセットアップで0.82 AUCを取得する候補者は、特徴を通じてターゲットを漏洩させることで0.91を取得する候補者を上回ります。
研究DS
短い論文または技術提案の査読。または欠陥のある分析の方法論批評。コーディング以上に重要である厳密さと読書スキルをテストします。
バイアスなしで採点する
匿名化します。常に。名前、学校、以前の雇用主 — レビュー前に削除してください。
ルーブリック固定採点を使用します。ClarityHireの採点サービスはLLMで最初のパスルーブリック採点を行い、匿名化されます。レビュアーはAIスコアと作業を確認し、理由を付けてオーバーライドします。DSの提出については、特にこれはクロスバリデーションの欠落または不適切なトレイン/テスト分割などを明らかにし、レビュアーは迅速に検証できます。
絶対にしてはいけないこと
- ホワイトボード SQLの質問。中くらいはスキルを変えます — 多くの優れた分析者は記憶からジョインを書くことはできませんが、実際のデータベースに対して流暢に書きます。
- 「勾配降下をゼロから実装してください。」学部課題の暗記をテストしており、職務スキルではありません。
- スクリーン段階で3時間以上のテイクホーム。パイプライン幅でお金を払っています。
インタビューとペアリング
評価に関わらず、それに続く候補者の提出内容の45分間のディスカッションで続けます。ウォークスルーは評価の目撃にほぼ全ての整合性問題をキャッチし、ディスカッションのルーブリック（自分の選択の深さを探る）は簡単です。