Criteria Corp vs SHL: Validitätsforschung und was die Zahlen bedeuten

Was „validiert" wirklich bedeutet

Wenn ein Anbieter von kognitiven Tests sagt, dass sein Test „validiert" ist, bedeutet das eines (oder mehreres) der Folgenden:

1. Konstruktvalidität. Der Test misst das, was er vorgibt zu messen (allgemeine mentale Fähigkeit, numerisches Denken usw.).
2. Kriteriumsvalidität. Die Ergebnisse des Tests korrelieren mit Leistungsmessungen im Job, üblicherweise Beurteilungen durch Vorgesetzte oder Produktivitätsdaten.
3. Reliabilität. Wiederholte Testdurchführungen führen zu ähnlichen Ergebnissen; alternative Formen sind gleichwertig.
4. Fairness. Verteilungen und prädiktive Genauigkeit unterscheiden sich nicht ungerechtfertigt zwischen geschützten demografischen Gruppen.

Beide Criteria Corp und SHL veröffentlichen technische Handbücher, die alle vier Aspekte abdecken. Die Handbücher sind nützlich, aber leicht misszuverstehen. Dieser Beitrag zeigt, was die Forschung der beiden Anbieter wirklich aussagt, und wie Sie Validitätsansprüche von Anbietern allgemein besser bewerten können – siehe auch unsere umfassendere Zusammenfassung zur Validitätsforschung bei Einstellungsmethoden.

Criteria Corps CCAT

Die zentrale Aussage. CCAT zeigt Korrelationen mit der Jobperformance bei Validitätskoeffizienten im Bereich von 0,40–0,65 über verschiedene Jobfamilien hinweg, in Übereinstimmung mit Tests zur allgemeinen kognitiven Fähigkeit aus der breiteren metaanalytischen Literatur.

Wie die Forschungsbasis aussieht. Criteria veröffentlicht ein technisches Handbuch, das mehrere hundert Validierungsstudien abdeckt, einschließlich lokaler Validierungsstudien, die bei Kundenorganisationen durchgeführt wurden. Die Methodik ist konventionell: CCAT-Ergebnisse von einer Stichprobe von Angestellten erfassen, Leistungsbeurteilungen durch Vorgesetzte erfassen, Korrelation berechnen, Korrektionen für Range Restriction und Messfehler anwenden.

Daten zu ungünstigen Auswirkungen. CCAT zeigt das standardmäßige demografische Muster von kognitiven Tests – moderate durchschnittliche Punktunterschiede zwischen Rassen-/Ethnizitätsgruppen in den USA, konsistent mit der breiteren Literatur zu kognitiven Tests. Criteria veröffentlicht diese Unterschiede offen im technischen Handbuch. Die 4/5-Regel kommt zur Anwendung; Einstellungsteams, die CCAT als strenge Grenze nutzen, sollten ihre eigene Analyse zu ungünstigen Auswirkungen mit ihrem spezifischen Selektionsquotienten durchführen.

Stärken. Lange Publikationsgeschichte. Ausreichende Stichprobengrößen in den meisten Validierungsstudien. Transparente Methodik. Die Validitätszahlen sind auf metaanalytischem Niveau glaubwürdig.

Schwachstellen zum Lesen. Viele veröffentlichte Validierungsstudien verwenden das „Incumbent"-Design statt des „Predictive"-Designs – sie korrelieren aktuelle Mitarbeitertestergebnisse mit aktueller Performance, statt Bewerber zu testen und sie über die Zeit zu verfolgen. Das Incumbent-Design erzeugt im Allgemeinen höhere Koeffizienten als das Predictive-Design. Lesen Sie den Methodikabschnitt jeder spezifischen Studie, bevor Sie ihre Zahlen zitieren.

SHL Verify Interactive G+

Die zentrale Aussage. Verify Interactive G+ misst allgemeine mentale Fähigkeit mit adaptiver Präzision und erzeugt Validitätskoeffizienten im gleichen Band von 0,50–0,65 gegen Jobperformance, mit dem zusätzlichen Anspruch, dass adaptives Testen Messfehler gegenüber Fixed-Form-Tests reduziert.

Wie die Forschungsbasis aussieht. SHL hat eine umfangreiche globale Validierungsdatenbank – hunderte Studien, viele mit großen Stichproben, deployed über dutzende von Ländern. Das technische Handbuch ist ausführlich und deckt Konstruktvalidität (Faktorstruktur des G+-Scores), Kriteriumsvalidität (große metaanalytische Stichproben) und kulturübergreifende Fairness ab.

Daten zu ungünstigen Auswirkungen. SHL veröffentlicht auch Gruppendifferenzdaten. Wie CCAT zeigt Verify das standardmäßige Muster kognitiver Tests. SHLs Lokalisierungsarbeit – Items angepasst und neu normiert für verschiedene Länder – reduziert einige Quellen kultureller Ungerechtigkeit, aber die zugrunde liegenden Unterschiede in den Fähigkeitswerten bleiben konsistent mit der breiteren Forschung.

Stärken. Größere und vielfältigere Validierungsdatenbank als die von Criteria, besonders außerhalb der USA. Adaptive Testmethodik ist psychometrisch effizienter. Starke IRT-basierte Itemanalyse.

Schwachstellen zum Lesen. SHLs größte Validierungsstudien konzentrieren sich auf spezifische Branchen (Finanzdienstleistungen, Consulting, Öl & Gas). Die Verallgemeinerung auf Ihre spezifische Jobfamilie verdient eine lokale Validierungsstudie, die SHL Ihnen verkauft. Einige der veröffentlichten Koeffizienten stammen aus concurrent statt predictive Designs – gleiche Vorbehalte wie bei Criteria.

Wie die beiden sich bei Validität direkt vergleichen

Beide Anbieter landen in ungefähr der gleichen Validitätsspanne – 0,50 korrigiert, irgendwo in den 0,30ern unkorrigiert – was konsistent mit der breiteren Forschung zu Tests für allgemeine kognitiver Fähigkeit ist. Es gibt keine veröffentlichte direkte Head-to-Head-Studie, die zeigt, dass einer für allgemeine Nutzung bedeutsam prädikativer ist als der andere.

Wo sie sich wirklich unterscheiden:

• Fehler bei der Testadministration. SHL Verifys adaptives Design reduziert Messfehler auf Testebene, besonders am oberen Ende der Fähigkeitsspanne. CCATs fixe Form ist empfindlicher gegenüber Rateffekten und Zeitdruckeffekten.
• Range Restriction in der Praxis. Wenn Sie nur Kandidaten testen, die bereits einen Lebenslauf-Screen bestanden haben, zeigen beide Tests niedrigere beobachtete Koeffizienten als die metaanalytischen Zahlen, weil der Kandidatenpool Range-restricted ist. Dies ist eine Eigenschaft jeden Tests, nicht ein Unterschied zwischen Anbietern.
• Kulturübergreifende Validität. SHL hat rigorosere Lokalisierung für Einstellungen außerhalb der USA. Für rein USA-Einstellungen ist die Lücke kleiner.

Validität ist notwendig, aber nicht ausreichend

Ein hoher Validitätskoeffizient sagt Ihnen, dass der Test Performance vorhersagt. Er sagt Ihnen nicht:

• Ob der Test die am höchsten wirksame Bewertung für Ihre spezifische Rolle ist
• Ob die Kosten die Verbesserung gegenüber einer einfacheren Alternative rechtfertigen
• Ob Einstellungsmanager den Score tatsächlich nutzen oder ihn aus Bauchgefühl außer Kraft setzen
• Ob der Test Probleme mit der Kandidatenerfahrung schafft, die Ihnen gute Kandidaten früher kosten

Die Forschung zu Einstellungsmethoden zeigt konsistent, dass die Kombination kognitiver Fähigkeit mit einer weiteren validen Methode (Work Sample, strukturiertes Interview) bedeutsam höhere kombinierte Validität erzeugt als nur kognitiv. Validitätskoeffizienten addieren sich ungefähr zum kombinierten R-Quadrat bis zu den Grenzen der zugrunde liegenden Konstrukte.

In der Praxis bedeutet das: Wählen Sie nicht CCAT oder SHL Verify als Ihren einzigen Einstellungsfilter. Wählen Sie einen von ihnen als die kognitive Komponente, dann kombinieren Sie mit einem strukturierten Verhaltensinterview und einem Work Sample. Siehe unsere Anleitung zur Einstellungsschleife mit höchster Validität.

Wo ClarityHire passt

ClarityHire bringt keinen Test für kognitiver Fähigkeit mit. Wir konzentrieren uns auf die Work-Sample-Seite: Coding Assessments, Live Coding, strukturierte Behavioral-Scorecard und Integritätsverifikation.

Die Kombination von CCAT oder SHL Verify (kognitiv) mit ClarityHire (Work Sample + strukturiertes Interview + Integrität) ist die Konfiguration, die die Forschungsbasis am stärksten für Knowledge-Worker-Einstellungen unterstützt. Validitätskoeffizienten der kombinierten Schleife erreichen 0,60+ in der metaanalytischen Literatur, deutlich höher als jede einzelne Methode allein.

Wie man die Validitätsansprüche eines beliebigen Anbieters bewertet

Ob Sie Criteria, SHL oder einen anderen Anbieter betrachten, fragen Sie:

1. Aus welcher Stichprobe stammt der Koeffizient? Concurrent vs. Predictive Design spielt eine Rolle. Daten vor der Einstellung sind der Goldstandard.
2. Welche Korrektionsmethoden wurden angewendet? Korrigierte und unkorrigierte Koeffizienten können sich um 0,10–0,20 unterscheiden. Beide sind legitim; Sie müssen nur wissen, welche Sie lesen.
3. Wie ist das Verhältnis ungünstiger Auswirkungen in Ihrem Kontext? Von Anbietern veröffentlichte Zahlen sind aggregiert. Führen Sie Ihre eigene Analyse mit Ihrem Selektionsquotienten durch.
4. Wie sieht die lokale Validierungsgeschichte aus? Allgemeine Validität ist ein starker Standard, aber eine benutzerdefinierte lokale Studie ist das einzige, das beweist, dass der Test in Ihrer Umgebung funktioniert.

Beide Criteria und SHL werden eine kundenspezifische Validierungsstudie unterstützen. SHLs ist aufwendiger (und teurer); Criterias ist leichtgewichtiger. Beide sind es wert, bevor Sie eines der beiden Tools über eine Organisation skalieren.

Siehe auch: unseren Feature-Vergleich und unsere Preis- und ROI-Analyse.