Criteria Corp vs SHL: ricerca sulla validità e cosa significano i numeri
Cosa significa „validato"
Quando un vendor cognitivo dice „validato", intende uno (o più) di:
- Validità di costrutto. Il test misura ciò che afferma di misurare.
- Validità di criterio. I punteggi correlano con la performance lavorativa.
- Affidabilità. Somministrazioni ripetute producono punteggi simili.
- Equità. Distribuzioni e accuratezza predittiva non differiscono ingiustamente tra gruppi protetti.
Entrambi pubblicano manuali tecnici sui quattro. Utili ma facili da leggere male. Questo post percorre cosa la ricerca di ciascun vendor mostra e come valutare in generale le affermazioni di validità — vedi anche il nostro riassunto più ampio sulla validità predittiva.
Il CCAT di Criteria Corp
L'affermazione di punta. CCAT correla con performance a 0,40–0,65 in diverse job family, in linea con la letteratura meta-analitica.
Come appare la base di ricerca. Criteria pubblica un manuale con centinaia di studi inclusi quelli locali in organizzazioni clienti. Metodologia convenzionale: raccogliere punteggi CCAT da incumbents, raccogliere rating del supervisore, calcolare correlazione, correggere per restrizione di range ed errore di misura.
Dati di impatto avverso. CCAT mostra il pattern demografico standard — differenze modeste di media tra gruppi race/etnia in USA, in linea con la letteratura. Criteria le pubblica apertamente. La regola 4/5 si applica; team con cutoff rigido dovrebbero fare la propria analisi.
Forze. Lunga storia di pubblicazioni. Campioni adeguati. Metodologia trasparente. I numeri sono credibili a livello meta.
Debolezze. Molti studi usano design „incumbent" invece di „predictive" — correlano punteggi attuali di impiegati con performance attuale, invece di testare candidati e seguirli. L'incumbent produce di solito coefficienti più alti. Leggi la metodologia prima di citare.
SHL Verify Interactive G+
L'affermazione di punta. Verify Interactive G+ misura abilità mentale generale con precisione adattiva e produce coefficienti nello stesso 0,50–0,65, con la rivendicazione aggiuntiva che l'adattivo riduce l'errore vs forma fissa.
Come appare la base. SHL ha un database di validazione globale ampio — centinaia di studi, grandi campioni, in decine di paesi. Il manuale è denso e copre costrutto (struttura fattoriale G+), criterio (grandi campioni meta) e equità cross-culturale.
Dati di impatto avverso. SHL pubblica anche differenze di gruppo. Come CCAT, Verify mostra il pattern standard. Il lavoro di localizzazione SHL — item adattati e ri-normati per paesi diversi — riduce alcune fonti di iniquità cross-culturale, ma le differenze di abilità sottostanti restano.
Forze. Database di validazione più grande e diverso di Criteria, soprattutto fuori USA. Metodologia adattiva più efficiente psicometricamente. Forte analisi IRT.
Debolezze. Gli studi più grandi sono concentrati in industrie specifiche (financial services, consulting, oil & gas). La generalizzazione al tuo ruolo merita uno studio locale, che SHL ti vende. Alcuni coefficienti vengono da design concurrent, stesso caveat che Criteria.
Come si confrontano testa a testa
Entrambi atterrano nella stessa banda — 0,50 corretti, 0,30s non corretti — consistente con la ricerca generale. Nessuno studio diretto head-to-head pubblicato mostra che uno sia meaningfully più predittivo per uso generale.
Dove davvero differiscono:
- Errore di amministrazione. L'adattivo SHL riduce l'errore a livello test, specialmente in alto. La forma fissa CCAT è più sensibile a pressione e guessing.
- Restrizione di range in pratica. Se testi solo chi ha superato il resume screen, entrambi mostreranno coefficienti osservati più bassi dei numeri meta perché il pool è range-restricted. Proprietà di ogni test, non differenza vendor.
- Validità cross-culturale. SHL ha localizzazione più rigorosa per non-US. Per US-only, il gap è minore.
La validità è necessaria ma non sufficiente
Un coefficiente alto ti dice che predice la performance. Non ti dice:
- Se il test è l'assessment più a leverage per il tuo ruolo specifico
- Se il costo vale il miglioramento marginale rispetto a un'alternativa più semplice
- Se i hiring manager useranno il punteggio o lo scavalcheranno a istinto
- Se crea problemi di candidate experience che ti costano buoni candidati a monte
La ricerca sui metodi di hiring mostra consistentemente che combinare cognitivo con un altro metodo valido (work sample, colloquio strutturato) produce validità combinata significativamente più alta.
In pratica: non scegliere CCAT o SHL Verify come filtro singolo. Scegline uno come componente cognitivo e combina con colloquio comportamentale strutturato e work sample. Vedi il nostro loop di massima validità.
Dove si inserisce ClarityHire
ClarityHire non fornisce un test cognitivo. Ci concentriamo sul lato work sample: coding assessment, live coding, scorecard comportamentali strutturate e verifica di integrità.
L'abbinamento CCAT o SHL Verify (cognitivo) con ClarityHire (work sample + colloquio strutturato + integrità) è la configurazione che la ricerca supporta più fortemente per hiring knowledge-worker. La validità combinata raggiunge 0,60+ nella letteratura meta, materialmente più alta di qualsiasi singolo metodo.
Come valutare le affermazioni di qualsiasi vendor
Criteria, SHL o altro, chiedi:
- Da quale campione viene il coefficiente? Concurrent vs predictive conta. Pre-employment è gold standard.
- Quali correzioni applicate? Corretti vs non corretti possono differire 0,10–0,20. Entrambi legittimi; sappi cosa leggi.
- Qual è l'adverse impact ratio nel tuo contesto? Numeri vendor sono aggregati. Fai analisi propria.
- Qual è la storia di validazione locale? Validità generale è default forte, ma uno studio custom è l'unica cosa che dimostra che il test funzioni nel tuo setting.
Entrambi supportano studi custom. Quello SHL è più elaborato (e caro); quello Criteria è leggero. Entrambi valgono la pena prima di scalare.
Vedi anche: il confronto feature e il breakdown su prezzi e ROI.