Criteria Corp vs SHL: Ricerca sulla Validità e Cosa Significano i Numeri

Cosa significa davvero "validato"

Quando un fornitore di test cognitivi dice "validato", intende uno (o più) dei seguenti:

1. Validità di costrutto. Il test misura ciò che sostiene di misurare (capacità mentale generale, ragionamento numerico, ecc.).
2. Validità di criterio. I punteggi del test si correlano con misure di prestazione lavorativa, solitamente valutazioni dei supervisori o dati sulla produttività.
3. Affidabilità. Le somministrazioni ripetute producono punteggi simili; le forme alternative sono equivalenti.
4. Equità. Le distribuzioni dei punteggi e l'accuratezza predittiva non differiscono ingiustamente tra i gruppi demografici protetti.

Sia Criteria Corp che SHL pubblicano manuali tecnici che coprono tutti e quattro. I manuali sono utili ma facili da fraintendere. Questo articolo illustra cosa mostrano effettivamente le ricerche di ogni fornitore e come valutare più in generale le affermazioni di validità dei fornitori. Vedi anche il nostro più ampio riassunto della ricerca sulla validità predittiva.

CCAT di Criteria Corp

L'affermazione di punta. CCAT correla con le prestazioni lavorative con coefficienti di validità compresi tra 0,40 e 0,65 in diverse famiglie di ruoli, coerente con i test di capacità cognitiva generale della letteratura meta-analitica più ampia.

Come si presenta la base di ricerca. Criteria pubblica un manuale tecnico che copre diverse centinaia di studi di validazione, inclusi studi di validazione locali condotti nelle organizzazioni dei clienti. La metodologia è convenzionale: raccogliere punteggi CCAT da un campione di dipendenti in carica, raccogliere valutazioni di prestazione dei supervisori, calcolare la correlazione, correggere la restrizione di intervallo e l'errore di misurazione.

Dati di impatto negativo. CCAT mostra il modello demografico standard dei test di capacità cognitiva: modeste differenze di punteggio medio tra i gruppi razziali/etnici negli Stati Uniti, coerente con la letteratura più ampia sul test cognitivo. Criteria pubblica apertamente queste differenze nel manuale tecnico. Si applica la regola dei 4/5; i team di assunzione che utilizzano CCAT come cutoff rigoroso dovrebbero eseguire la propria analisi di impatto negativo sul loro rapporto di selezione specifico.

Punti di forza. Lunga storia di pubblicazioni. Dimensioni di campione adeguate nella maggior parte degli studi di validazione. Metodologia trasparente. I numeri di validità sono credibili a livello meta-analitico.

Punti deboli da ricercare. Molti studi di validazione pubblicati utilizzano il design "occupante" piuttosto che "predittivo" - correlano i punteggi dei test dei dipendenti attuali con le prestazioni attuali, invece di testare i candidati e seguirli nel tempo. Il design occupante generalmente produce coefficienti più alti di quanto farebbe il design predittivo. Leggi la sezione metodologia di uno studio specifico prima di citare il suo numero.

SHL Verify Interactive G+

L'affermazione di punta. Verify Interactive G+ misura la capacità mentale generale con precisione adattiva e produce coefficienti di validità nella stessa banda 0,50–0,65 rispetto alle prestazioni lavorative, con l'affermazione aggiuntiva che i test adattivi riducono l'errore di misurazione rispetto ai test a forma fissa.

Come si presenta la base di ricerca. SHL ha un ampio database di validazione globale: centinaia di studi, molti campioni di grandi dimensioni, distribuiti in decine di paesi. Il manuale tecnico è denso e copre la validità di costrutto (struttura fattoriale del punteggio G+), la validità di criterio (grandi campioni meta-analitici) e l'equità interculturale.

Dati di impatto negativo. SHL pubblica anche dati sulle differenze di gruppo. Come CCAT, Verify mostra il modello standard dei test cognitivi. Il lavoro di localizzazione di SHL - elementi adattati e ri-standardizzati per diversi paesi - riduce alcune fonti di ingiustizia interculturale, ma le differenze di punteggio di capacità sottostanti rimangono coerenti con la ricerca più ampia.

Punti di forza. Database di validazione più grande e diversificato rispetto a quello di Criteria, soprattutto al di fuori degli Stati Uniti. La metodologia dei test adattivi è psicometricamente più efficiente. Forte analisi degli elementi basata su IRT.

Punti deboli da ricercare. Gli studi di validazione più grandi di SHL sono concentrati in industrie specifiche (servizi finanziari, consulenza, petrolio e gas). La generalizzazione alla tua famiglia di ruoli specifica merita uno studio di validazione locale, che SHL ti venderà. Alcuni dei coefficienti pubblicati provengono da design concorrenti piuttosto che predittivi, la stessa avvertenza di Criteria.

Come si confrontano i due sulla validità, faccia a faccia

Entrambi i fornitori si collocano approssimativamente nella stessa banda di validità - 0,50 corretti, da qualche parte nei 0,30 non corretti - il che è coerente con la ricerca più ampia sui test di capacità cognitiva. Non esiste uno studio diretto faccia a faccia pubblicato che mostri che uno è significativamente più predittivo dell'altro per un uso generale.

Dove effettivamente differiscono:

• Errore di somministrazione del test. Il design adattivo di SHL Verify riduce l'errore di misurazione a livello di test, soprattutto alle capacità più elevate. La forma fissa di CCAT è più sensibile agli effetti di indovinare e della pressione del tempo.
• Restrizione di intervallo nella pratica. Se verifichi solo i candidati che hanno già superato uno screening del curriculum, entrambi i test mostreranno coefficienti inferiori osservati rispetto ai numeri meta-analitici perché il pool di candidati è range-ristretto. Questa è una proprietà di qualsiasi test, non una differenza tra fornitori.
• Validità interculturale. SHL ha una localizzazione più rigorosa per le assunzioni non statunitensi. Per le assunzioni solo negli Stati Uniti, il divario è minore.

La validità è necessaria ma non sufficiente

Un alto coefficiente di validità ti dice che il test predice le prestazioni. Non ti dice:

• Se il test è la valutazione con il massimo effetto leva per il tuo ruolo specifico
• Se il costo vale il miglioramento marginale rispetto a un'alternativa più semplice
• Se i hiring manager utilizzeranno effettivamente il punteggio o lo annulleranno seguendo l'istinto
• Se il test crea problemi di esperienza dei candidati che ti costano buoni candidati a monte

La ricerca sui metodi di assunzione mostra costantemente che combinare la capacità cognitiva con un altro metodo valido (lavoro campionario, intervista strutturata) produce una validità combinata significativamente più alta rispetto solo alla cognitiva. I coefficienti di validità si sommano approssimativamente all'R-quadrato combinato fino ai limiti dei costrutti sottostanti.

In pratica, questo significa: non scegliere CCAT o SHL Verify come singolo filtro di assunzione. Scegline uno come componente cognitivo, poi combinalo con un'intervista comportamentale strutturata e un lavoro campionario. Vedi il nostro massimo ciclo di assunzione di validità writeup.

Dove si posiziona ClarityHire

ClarityHire non include un test di capacità cognitiva. Ci concentriamo sul lato del lavoro campionario: valutazioni di codifica, codifica dal vivo, scorecard comportamentali strutturate e verifica dell'integrità.

L'accoppiamento di CCAT o SHL Verify (cognitivo) con ClarityHire (lavoro campionario + intervista strutturata + integrità) è la configurazione che la base di ricerca sostiene più fortemente per l'assunzione di knowledge worker. I coefficienti di validità del ciclo combinato raggiungono 0,60+ nella letteratura meta-analitica, materialmente più alti rispetto a qualsiasi metodo singolo da solo.

Come valutare le affermazioni di validità di qualsiasi fornitore

Che tu stia guardando Criteria, SHL o qualsiasi altro fornitore, chiedi:

1. Da quale campione proviene il coefficiente? Il design concorrente vs predittivo è importante. I dati pre-impiego sono lo standard aureo.
2. Quali metodi di correzione sono stati applicati? I coefficienti corretti vs non corretti possono differire di 0,10–0,20. Entrambi sono legittimi; sappi solo quale stai leggendo.
3. Qual è il rapporto di impatto negativo nel tuo contesto? I numeri pubblicati dai fornitori sono aggregati. Esegui la tua analisi sul tuo rapporto di selezione.
4. Qual è la storia della validazione locale? La validità generale è un default forte, ma uno studio locale personalizzato è l'unica cosa che prova che il test funziona nel tuo setting.

Sia Criteria che SHL supporteranno uno studio di validazione specifico del cliente. Quello di SHL è più elaborato (e più costoso); quello di Criteria è più leggero. Vale la pena fare entrambi prima di scalare uno strumento in un'organizzazione.

Vedi anche: il nostro confronto delle funzionalità e il nostro analisi dei prezzi e del ROI.