Criteria Corp vs SHL: Cercetare de validitate și semnificația numerelor

Ce înseamnă cu adevărat „validat"

Când un producător de teste cognitive spune „validat", se referă la una (sau mai multe) dintre următoarele:

1. Validitate de construct. Testul măsoară ceea ce pretinde că măsoară (abilitate mentală generală, raționament numeric etc.).
2. Validitate de criteriu. Scorurile din test se corelează cu măsurile de performanță în muncă, de obicei evaluări ale supraveghetorului sau date de productivitate.
3. Fiabilitate. Administrări repetate produc scoruri similare; formele alternative sunt echivalente.
4. Corectitudine. Distribuțiile scorurilor și acuratețea predictivă nu diferă în mod nedrept între grupuri demografice protejate.

Atât Criteria Corp cât și SHL publică manuale tehnice care acoperă toate patru. Manualele sunt utile, dar ușor de interpretat greșit. Acest articol analizează ce arată cu adevărat cercetarea fiecărui producător și cum să evaluezi în general cererile de validitate ale unui producător — vezi și rezumatul mai larg al cercetării privind validitatea predictivă.

CCAT de la Criteria Corp

Afirmația principală. CCAT se corelează cu performanța în muncă la coeficienți de validitate în intervalul 0,40–0,65 pe diverse familii de locuri de muncă, în linie cu testele de abilitate cognitivă generală din literatura mai amplă meta-analitică.

Cum arată baza de cercetare. Criteria publică un manual tehnic care acoperă câteva sute de studii de validare, inclusiv studii de validare locală efectuate în organizațiile clienților. Metodologia este convențională: colectează scoruri CCAT de la un eșantion de angajați existenți, colectează evaluări ale performanței supraveghetorului, calculează corelația, corectează pentru restricția amplitudinii și eroare de măsurare.

Date privind impactul discriminatoriu. CCAT arată modelul standard de test de abilitate cognitivă — diferențe modeste de scor mediu între grupuri rasiale/etnice în SUA, în concordanță cu literatura mai amplă privind testarea cognitivă. Criteria publică aceste diferențe deschis în manualul tehnic. Regula 4/5 se aplică; echipele de angajare care utilizează CCAT ca o limită strictă ar trebui să facă propria analiză a impactului discriminatoriu pe raportul lor specific de selecție.

Puncte forte. Istoric lung de publicare. Dimensiuni adecvate ale eșantionului în majoritatea studiilor de validare. Transparență metodologică. Numerele de validitate sunt credibile la nivel meta-analitic.

Slăbiciuni de care trebuie să ții seama. Multe studii de validare publicate utilizează designul „angajații existenți" mai degrabă decât designul „predictiv" — corelează scorurile de test ale angajaților actuali cu performanța actuală, mai degrabă decât testează solicitanții și îi urmărește în timp. Designul cu angajații existenți produce în general coeficienți mai mari decât ar produce designul predictiv. Citește secțiunea de metodologie a oricărui studiu specific înainte de a cita numărul acestuia.

SHL Verify Interactive G+

Afirmația principală. Verify Interactive G+ măsoară abilitatea mentală generală cu precizie adaptivă și produce coeficienți de validitate în aceeași bandă 0,50–0,65 pentru performanța în muncă, cu afirmația suplimentară că testarea adaptivă reduce eroarea de măsurare comparativ cu testele cu formă fixă.

Cum arată baza de cercetare. SHL are o bază de date extinsă de validare la nivel global — sute de studii, multe cu eșantioane mari, implementate pe zeci de țări. Manualul tehnic este dens și acoperă validitate de construct (structura factorială a scorului G+), validitate de criteriu (eșantioane meta-analitice mari), și corectitudine transculturală.

Date privind impactul discriminatoriu. SHL publică, de asemenea, date privind diferențele dintre grupuri. Ca și CCAT, Verify arată modelul standard de test cognitiv. Munca de localizare a SHL — elemente ajustate și renormate pentru diferite țări — reduce unele surse de inechitate transculturală, dar diferențele de scor de abilitate subiacente rămân în concordanță cu cercetarea mai amplă.

Puncte forte. Bază de date de validare mai mare și mai diversă decât cea a Criteria, mai ales în afara SUA. Metodologia de testare adaptivă este mai eficientă din punct de vedere psihometric. Analiză puternică a elementelor bazată pe IRT.

Slăbiciuni de care trebuie să ții seama. Cele mai mari studii de validare ale SHL sunt concentrate în industrii specifice (servicii financiare, consultanță, petrol și gaze). Generalizarea pentru familia ta specifică de roluri merită un studiu de validare locală, pe care SHL ți-l va vinde. Unii coeficienți publicați provin din designuri concomitente mai degrabă decât predictive, aceeași avertizare ca și pentru Criteria.

Cum se compară cele două din punct de vedere al validității, cap la cap

Ambii producători se situează în aproape aceeași bandă de validitate — 0,50 corectată, undeva în anii 30 necorectați — ceea ce este în concordanță cu cercetarea mai amplă pe teste de abilitate cognitivă. Nu există niciun studiu publicat direct cap la cap care să arate că una este semnificativ mai predictivă decât cealaltă pentru utilizarea generală.

Locul în care diferă de fapt:

• Eroare de administrare a testului. Designul adaptiv al SHL Verify reduce eroarea de măsurare la nivel de test, mai ales la capătul superior al abilității. Forma fixă a CCAT este mai sensibilă la efectele ghicirii și presiunii de timp.
• Restricție de amplitudine în practică. Dacă testezi doar candidații care au trecut deja prin controlul CV-ului, ambele teste vor arăta coeficienți observați mai scăzuți decât numerele meta-analitice, deoarece pool-ul de candidați este cu amplitudine restricționată. Aceasta este o proprietate a oricărui test, nu o diferență între producători.
• Validitate transculturală. SHL are o localizare mai riguroasă pentru angajare în afara SUA. Pentru angajare doar în SUA, decalajul este mai mic.

Validitatea este necesară, dar nu suficientă

Un coeficient de validitate ridicat iti spune că testul prezice performanța. NU iti spune:

• Dacă testul este evaluarea cu cea mai mare pârghie pentru rolul tău specific
• Dacă costul merită îmbunătățirea marginală față de o alternativă mai simplă
• Dacă managerii de angajare vor folosi de fapt scorul, sau îl vor ignora pe baza intuiției
• Dacă testul creează probleme de experiență a candidaților care te costă candidații buni în amonte

Cercetarea privind metodele de angajare arată în mod constant că combinarea abilității cognitive cu o altă metodă validă (mostră de lucru, interviu structurat) produce validitate combinată semnificativ mai ridicată decât numai abilitatea cognitivă. Coeficienții de validitate se adună aproximativ la R-pătrat combinat, până la limitele construcților subiacenți.

În practică, aceasta înseamnă: nu alege CCAT sau SHL Verify ca filtru unic de angajare. Alege-o pe una dintre ele ca componentă cognitivă, apoi combină cu un interviu behavioral structurat și o mostră de lucru. Vezi articolul nostru despre cea mai validă buclă de angajare.

Unde se încadrează ClarityHire

ClarityHire nu oferă un test de abilitate cognitivă. Ne concentrăm pe latura mostrei de lucru: teste de codare, codare în direct, foi de punctare comportamentale structurate, și verificare a integrității.

Asocierea CCAT sau SHL Verify (cognitiv) cu ClarityHire (mostră de lucru + interviu structurat + verificare a integrității) este configurația pe care baza de cercetare o susține cel mai puternic pentru angajare în sectorul cunoașterii. Coeficienții de validitate ai buclei combinate ating 0,60+ în literatura meta-analitică, semnificativ mai mari decât orice metodă unică singură.

Cum să evaluezi cererile de validitate ale oricărui producător

Indiferent dacă iei în considerare Criteria, SHL, sau orice alt producător, întreabă:

1. Din ce eșantion provine coeficientul? Design concomitent vs predictiv contează. Datele pre-angajare sunt standardul de aur.
2. Ce metode de corecție au fost aplicate? Coeficienții corectați vs necorectați pot diferi cu 0,10–0,20. Ambii sunt legitimi; doar știi care citești.
3. Care este raportul impactului discriminatoriu în contextul tău? Numerele publicate de producător sunt agregate. Efectuează propria analiză pe raportul tău de selecție.
4. Care este povestea validării locale? Validitatea generală este un default puternic, dar un studiu local personalizat este singurul lucru care dovedește că testul funcționează în setarea ta.

Atât Criteria cât și SHL vor susține un studiu de validare specific pentru client. Al SHL este mai elaborat (și mai scump); cel al Criteria este mai ușor. Oricare merită efectuat înainte de a scala oricare dintre instrumente în întreaga organizație.

Vezi și: comparația noastră de caracteristici și analiza noastră de prețuri și ROI.