Criteria Corp vs SHL: Validatieonderzoek en Wat de Getallen Betekenen
Wat "gevalideerd" werkelijk betekent
Als een cognitieve-test-leverancier zegt "gevalideerd", bedoelen ze één (of meerdere) van:
- Constructvaliditeit. De test meet het wat ze beweert te meten (algemene mentale capaciteit, numerieke redenering, enz.).
- Criteriumvaliditeit. Scores op de test correleren met werkprestatie-metingen, meestal werkgeversbeoordelingen of productiviteitsgegevens.
- Betrouwbaarheid. Herhaalde toedieningen produceren gelijkaardige scores; alternatieve vormen zijn gelijkwaardig.
- Billijkheid. Scoreverdelingen en voorspellende nauwkeurigheid verschillen niet onrechtvaardig tussen beschermde demografische groepen.
Beide Criteria Corp en SHL publiceren technische handleidingen die alle vier dekken. De handleidingen zijn nuttig maar gemakkelijk verkeerd gelezen. Dit artikel loopt door wat het onderzoek van elke leverancier werkelijk toont en hoe je algemeen validiteitsclaims van leveranciers beter beoordeelt — zie ook onze bredere samenvatting van voorspellende-validatieonderzoek.
CCAT van Criteria Corp
De vlaggenschipbewering. CCAT correleert met werkprestatie met validiteitscoëfficiënten in het bereik van 0,40–0,65 over diverse jobbeschrijvingen, in overeenstemming met algemene cognitieve-capaciteitsttesten uit de bredere meta-analytische literatuur.
Hoe de onderzoeksbasis eruitziet. Criteria publiceert een technische handleiding met enkele honderden validatiestudies, inclusief lokale validatiestudies uitgevoerd op klantorganisaties. De methodologie is conventioneel: verzamel CCAT-scores van een steekproef van zittende werknemers, verzamel werkgeversbeoordelingen van prestatie, bereken correlatie, corrigeer voor restrictie van bereik en meetfout.
Ongunstige impactgegevens. CCAT vertoont het standaard cognitieve-test demografische patroon — bescheiden gemiddelde scoreverschillen over ras-/etniciteitsgroepen in de VS, consistent met de bredere literatuur over cognitieve testen. Criteria publiceert deze verschillen openlijk in de technische handleiding. De 4/5e regel is van toepassing; einstellingsteams die CCAT als streng afkappunt gebruiken moeten hun eigen ongunstige-impact analyse uitvoeren op hun specifieke selectieratio.
Sterktes. Lange publicatiegeschiedenis. Adequate steekproefgroottes in meeste validatiestudies. Transparante methodologie. De validiteitsnummers zijn credibel op het meta-analytische niveau.
Zwaktes om op te letten. Veel gepubliceerde validatiestudies gebruiken het "zittend-werknemer" in plaats van "voorspellend" ontwerp — ze correleren huidigemedewerkerstestscores met huidigemedewerkerprestatie, in plaats van sollicitanten te testen en ze in de loop van de tijd op te volgen. Het zittend-werknemer-ontwerp produceert over het algemeen hogere coëfficiënten dan het voorspellende ontwerp zou doen. Lees de methodologiesectie van elke specifieke studie voordat je haar getal citeert.
SHL Verify Interactive G+
De vlaggenschipbewering. Verify Interactive G+ meet algemene mentale capaciteit met adaptieve precisie en produceert validiteitscoëfficiënten in dezelfde 0,50–0,65-band tegen werkprestatie, met de additionele bewering dat adaptieve testing meetfout tegen vaste-vorm-tests reduceert.
Hoe de onderzoeksbasis eruitziet. SHL heeft een uitgebreide globale validatiedatabase — honderden studies, veel grote steekproeven, ingezet in dozijnen landen. De technische handleiding is dicht en behandelt constructvaliditeit (factorstructuur van de G+ score), criteriumvaliditeit (grote meta-analytische steekproeven), en cross-culturele billijkheid.
Ongunstige impactgegevens. SHL publiceert ook groepsverschilgegevens. Net als CCAT vertoont Verify het standaard cognitieve-test patroon. SHL's lokalisatiewerk — items aangepast en hernormeerd voor verschillende landen — reduceert enkele bronnen van cross-culturele onbillijkheid, maar de onderliggende capaciteitsschotverschillen blijven consistent met het bredere onderzoek.
Sterktes. Grotere en meer diverse validatiedatabase dan Criteria's, vooral buiten de VS. Adaptieve test-methodologie is psychometrisch efficiënter. Sterke IRT-gebaseerde itemanalyse.
Zwaktes om op te letten. SHL's grootste validatiestudies zijn geconcentreerd in specifieke industrieën (financiële diensten, consultancy, olie & gas). Generalisatie naar je specifieke rollenfamilie verdient een lokale validatiestudie, die SHL je zal verkopen. Sommige van de gepubliceerde coëfficiënten komen uit gelijktijdig in plaats van voorspellende ontwerpen, zelfde voorbehoud als Criteria.
Hoe de twee op validiteit head-to-head vergelijken
Beide leveranciers landen in ruwweg dezelfde validiteitsband — 0,50 gecorrigeerd, ergens in de 0,30s ongecorrigeerd — wat consistent is met het bredere onderzoek over cognitieve-capaciteitsttesten. Er is geen gepubliceerd direct head-to-head onderzoek dat aantoont dat één voor algemeen gebruik zinvol voorspellender is.
Waar ze werkelijk verschillen:
- Testtoedieningsfout. SHL Verify's adaptieve ontwerp reduceert testmeetfout, vooral aan de hoge kant van capaciteit. CCAT's vaste vorm is gevoeliger voor gok- en tijdsdruk-effecten.
- Bereikbeperking in praktijk. Als je alleen kandidaten test die al een resumé-scherm hebben doorstaan, zullen beide tests lagere waargenomen coëfficiënten vertonen dan de meta-analytische getallen omdat de kandidaatgroep bereikbeperkt is. Dit is een eigenschap van elke test, geen leveranciersverschil.
- Cross-culturale validiteit. SHL heeft rigoureuzer lokalisatiewerk voor buiten-VS werving. Voor VS-enige werving is de kloof kleiner.
Validiteit is nodig maar onvoldoende
Een hoge validiteitscoëfficiënt vertelt je de test voorspelt prestatie. Het vertelt je niet:
- Of de test de meest hefboomwerking-beoordeling voor je specifieke rol is
- Of de kosten de marginale verbetering boven een eenvoudiger alternatief rechtvaardigen
- Of recruitingmanagers werkelijk het score zullen gebruiken, of het overschrijven op buikgevoel
- Of de test kandidaatervaring-problemen creëert die je goede kandidaten upstream kosten
Het onderzoek over einstellingsmethoden toont consistent aan dat combinatie van cognitieve capaciteit met één ander geldig middel (werksteekproef, gestructureerd interview) aanzienlijk hogere gecombineerde validiteit produceert dan cognitief alleen. Validiteitscoëfficiënten voegen ruwweg toe aan de gecombineerde R-kwadraat tot de grenzen van de onderliggende constructies.
In praktijk betekent dit: kies niet CCAT of SHL Verify als je enige einstellingsfilter. Kies één van hen als de cognitieve component, dan combineer met een gestructureerd gedragsinterview en een werksteekproef. Zie onze meest-validiteit-einstellingsloop uitstekend.
Waar ClarityHire in past
ClarityHire biedt geen cognitieve-capaciteitstest aan. We focussen op de werksteekproefkant: coderingsbeoordeling, live coding, gestructureerde gedragsscorecard, en integriteitsverificatie.
De combinatie van CCAT of SHL Verify (cognitief) met ClarityHire (werksteekproef + gestructureerd interview + integriteit) is de configuratie die de onderzoeksbasis het sterkst steunt voor kenniswerkerwerving. Validiteitscoëfficiënten van de gecombineerde loop bereiken 0,60+ in de meta-analytische literatuur, aanzienlijk hoger dan enig enkel middel alleen.
Hoe je enig leveranciers validiteitsclaims beoordeelt
Of je naar Criteria, SHL of enig ander leverancier kijkt, vraag:
- Wat steekproef is de coëfficiënt uit? Gelijktijdig vs voorspellende ontwerp maakt uit. Pre-employment data is gouden standaard.
- Welke correctiemethoden werden toegepast? Gecorrigeerde vs ongecorrigeerde coëfficiënten kunnen 0,10–0,20 verschillen. Beide zijn legitiem; weet gewoon welke je leest.
- Wat is de ongunstige-impact-ratio in je context? Leveranciers-gepubliceerde getallen zijn aggregaat. Voer je eigen analyse uit op je selectieratio.
- Wat is het lokale validatieverhaal? Algemene validiteit is een sterke standaard, maar een aangepaste lokale studie is het enige wat bewijst de test werkt in jouw omgeving.
Beide Criteria en SHL zullen een klantspecifieke validatiestudie steunen. SHL's is meer uitgebreid (en duurder); Criteria's is lichter. Beiden zijn het doen waard voordat je elk middel schaal over een organisatie.
Zie ook: onze functievergelije en onze prijzen en ROI-uitsplitsing.