Evaluări tehnice pentru data scientists care nu sunt doar trivia SQL

Ce înseamnă de fapt "data scientist" la compania ta

Înainte să proiectezi evaluarea, numește rolul cinstit. Eticheta acoperă joburi sălbatic diferite:

• DS analitică. SQL, dashboard-uri, analiza experimentelor, comunicare cu stakeholderi.
• DS ML. Antrenarea modelelor, feature engineering, evaluare, uneori productizare.
• DS de cercetare. Modelare nouă, rigoare statistică, muncă de calitate publicabilă.

Un singur test nu poate măsura pe toate trei. Alegerea care e angajarea asta e prima decizie.

Forme de evaluare pe arome de rol

DS analitică

Dă-le un dataset dezordonat (CSV, ~10MB, intenționat cu duplicate, null-uri și un mismatch subtil de definiție într-o coloană). Întreabă trei lucruri de business de ambiguitate crescândă:

1. Concret: "Care e rata de retenție la 7 zile?"
2. Ușor ambiguu: "S-a schimbat retenția de când s-a lansat feature X?"
3. Deschis: "Ce din aceste date ar trebui să știe echipa de produs?"

Notează: corectitudine SQL/Python pe Q1, raționament statistic pe Q2, judecată și comunicare pe Q3.

DS ML

Dataset tabular cu un target. 90 de minute. Mediu notebook.

Notează: alegeri de feature engineering, metodologie de evaluare a modelului (nu metrica finală — cum au evaluat), conștiința leakage-ului și overfitting-ului, comunicarea trade-off-urilor într-un writeup scurt.

Metrica nu contează. O candidată care obține 0.82 AUC cu un setup curat de cross-validation bate o candidată care obține 0.91 prin scurgerea target-ului printr-un feature.

DS de cercetare

O revizuire scurtă de paper sau propunere tehnică. Sau o critică metodologică a unei analize defectuoase. Testează rigoarea și abilitatea de citire, ambele mai importante decât coding-ul pentru această aromă.

Notarea fără bias

Anonimizează. Mereu. Nume, școli, angajatori anteriori — scoate-le înainte de revizuire.

Folosește notare ancorată în rubrică. Serviciul de notare al ClarityHire face primul pas cu rubrică folosind un LLM, anonimizat; revizorii văd scorul IA plus munca și suprascriu cu un motiv. Pentru trimiteri DS specific, asta scoate la lumină lucruri cum ar fi cross-validation lipsă sau split-uri train/test improprii pe care revizorul le poate verifica rapid.

Ce să nu faci niciodată

• Întrebări SQL pe whiteboard. Mediul schimbă skill-ul — multe analiste grozave nu pot scrie join-uri din memorie dar le scriu fluent împotriva unei DB reale.
• "Implementează gradient descent de la zero." Testează memorarea unui exercițiu de licență, nu skill de job.
• Take-home-uri mai lungi de 3 ore pentru etapa de cribare. Plătești în lățime de pipeline.

Asociază cu un interviu

Indiferent de evaluare, urmează cu o discuție de 45 de minute despre trimiterea candidatei. Walkthrough-ul prinde aproape toate problemele de integritate pe care evaluarea singură le ratează, iar rubrica pentru discuție (sondând adâncimea în alegerile lor proprii) e directă.