Criteria Corp vs SHL: cercetare de validitate și ce înseamnă numerele
Ce înseamnă „validat"
Când un vendor cognitiv spune „validat", înseamnă una (sau mai multe) dintre:
- Validitate de construct. Testul măsoară ce pretinde că măsoară.
- Validitate de criteriu. Scorurile corelează cu performanța în job.
- Fiabilitate. Administrări repetate produc scoruri similare.
- Corectitudine. Distribuțiile și acuratețea predictivă nu diferă incorect între grupuri protejate.
Amândoi publică manuale tehnice care acoperă toate patru. Utile, dar ușor de citit greșit. Acest post parcurge ce arată real cercetarea fiecărui vendor și cum să evaluezi în general pretențiile de validitate — vezi și rezumatul nostru mai larg pe validitatea predictivă.
CCAT-ul Criteria Corp
Pretenția flagship. CCAT corelează cu performanța la 0,40–0,65 în diverse job family, în linie cu literatura meta-analitică.
Cum arată baza de cercetare. Criteria publică un manual care acoperă sute de studii inclusiv validări locale la organizații client. Metodologie convențională: colectează scoruri CCAT de la incumbents, rating supervizor, calculează corelație, corectează pentru restricție de range și eroare de măsură.
Date de impact advers. CCAT arată pattern-ul demografic standard — diferențe modeste de scor mediu între grupuri race/etnie în SUA, consistent cu literatura. Criteria le publică deschis în manual. Regula 4/5 se aplică; echipele cu cutoff strict ar trebui să facă propria analiză.
Puncte forte. Istorie lungă de publicații. Mărimi de eșantion adecvate. Metodologie transparentă. Numerele sunt credibile la nivel meta.
Puncte slabe. Multe studii folosesc design „incumbent" în loc de „predictiv" — corelează scorurile angajaților actuali cu performanța actuală, în loc să testeze candidați și să-i urmărească. Incumbent produce de obicei coeficienți mai mari. Citește metodologia înainte să citezi.
SHL Verify Interactive G+
Pretenția flagship. Verify Interactive G+ măsoară abilitate mentală generală cu precizie adaptivă și produce coeficienți în aceeași bandă 0,50–0,65, cu pretenția adițională că adaptivul reduce eroarea vs forma fixă.
Cum arată baza. SHL are o bază de date globală extinsă — sute de studii, eșantioane mari, deployed în zeci de țări. Manualul e dens și acoperă construct (structura factorială G+), criteriu (eșantioane meta mari) și corectitudine cross-culturală.
Date de impact advers. SHL publică și diferențe de grup. Ca CCAT, Verify arată pattern-ul standard. Munca de localizare SHL — itemi adaptați și re-normați pentru țări diferite — reduce unele surse de inechitate cross-culturală, dar diferențele de abilitate de bază rămân.
Puncte forte. Bază de validare mai mare și mai diversă decât Criteria, mai ales în afara SUA. Metodologie adaptivă mai eficientă psihometric. Analiză IRT puternică.
Puncte slabe. Cele mai mari studii sunt concentrate în industrii specifice (financial services, consulting, oil & gas). Generalizarea la rolul tău merită un studiu local, pe care SHL ți-l vinde. Unii coeficienți vin din design concurrent, aceeași avertizare ca la Criteria.
Cum se compară cap la cap
Amândoi aterizează aproximativ în aceeași bandă — 0,50 corectat, 0,30 ish necorectat — consistent cu cercetarea generală. Nu există studiu head-to-head publicat care arată că unul e meaningfully mai predictiv pentru utilizare generală.
Unde diferă cu adevărat:
- Eroarea de administrare. Adaptivul SHL reduce eroarea la nivel test, mai ales sus. Forma fixă CCAT e mai sensibilă la presiune și ghicit.
- Restricție de range în practică. Dacă testezi doar pe cei care au trecut resume screen, amândouă vor arăta coeficienți observați mai mici decât numerele meta pentru că pool-ul e range-restricted. Proprietate a oricărui test, nu diferență de vendor.
- Validitate cross-culturală. SHL are localizare mai riguroasă pentru non-US. Pentru US-only, gap-ul e mai mic.
Validitatea e necesară, nu și suficientă
Un coeficient mare îți spune că prezice performanța. Nu îți spune:
- Dacă testul e cel mai high-leverage assessment pentru rolul tău specific
- Dacă costul valorează îmbunătățirea marginală față de o alternativă mai simplă
- Dacă hiring managerii vor folosi scorul sau îl vor suprascrie după instinct
- Dacă creează probleme de candidate experience care te costă candidați buni upstream
Cercetarea pe metode de hiring arată consistent că combinarea cognitivului cu altă metodă validă (mostră, interviu structurat) produce validitate combinată semnificativ mai mare.
În practică: nu alege CCAT sau SHL Verify ca filtru unic. Alege unul ca componentă cognitivă și combină cu interviu comportamental structurat și mostră de muncă. Vezi loop-ul de maximă validitate.
Unde se potrivește ClarityHire
ClarityHire nu livrează test cognitiv. Ne concentrăm pe partea de mostră: evaluări coding, live coding, scorecard-uri comportamentale structurate și verificare de integritate.
Împerecherea CCAT sau SHL Verify (cognitiv) cu ClarityHire (mostră + interviu structurat + integritate) e configurația pe care cercetarea o susține cel mai puternic pentru hiring knowledge-worker. Validitatea combinată atinge 0,60+ în literatura meta, material mai mare decât oricare metodă singulară.
Cum evaluezi pretențiile oricărui vendor
Criteria, SHL sau alții, întreabă:
- Din ce eșantion vine coeficientul? Concurrent vs predictiv contează. Pre-employment e gold standard.
- Ce corecții s-au aplicat? Corectați vs necorectați pot diferi 0,10–0,20. Amândouă legitime; să știi ce citești.
- Care e ratio-ul de impact advers în contextul tău? Numerele vendor sunt agregate. Fă propria analiză.
- Care e povestea de validare locală? Validitatea generală e default puternic, dar un studiu custom e singurul lucru care dovedește că testul funcționează în setting-ul tău.
Amândoi susțin studii custom. Cel SHL e mai elaborat (și mai scump); cel Criteria e ușor. Oricare merită făcut înainte de scalare.
Vezi și: comparația de feature-uri și breakdown-ul de prețuri și ROI.