Criteria Corp vs SHL: investigación de validez y qué significan los números
Qué significa „validado" realmente
Cuando un vendor de cognitive dice „validado", significa uno (o varios) de:
- Validez de constructo. El test mide lo que dice medir.
- Validez de criterio. Los scores correlacionan con desempeño laboral.
- Confiabilidad. Administraciones repetidas producen scores similares.
- Equidad. Distribuciones y precisión predictiva no difieren injustamente entre grupos protegidos.
Ambos publican manuales técnicos cubriendo los cuatro. Los manuales son útiles pero fáciles de leer mal. Este post recorre lo que la investigación de cada vendor realmente muestra y cómo evaluar las afirmaciones de validez en general — ver también nuestro resumen amplio de validez predictiva.
CCAT de Criteria Corp
La afirmación insignia. CCAT correlaciona con desempeño en 0,40–0,65 a través de job families diversas, en línea con la literatura meta-analítica.
Cómo se ve la base de investigación. Criteria publica un manual cubriendo cientos de estudios incluyendo validaciones locales en clientes. Metodología convencional: recolectar scores CCAT de incumbentes, ratings de supervisor, computar correlación, corregir por restricción de rango y error de medida.
Datos de impacto adverso. CCAT muestra el patrón demográfico estándar — diferencias modestas de score medio entre grupos race/ethnicity en US, consistente con literatura. Criteria publica las diferencias abiertamente en el manual. La regla 4/5 aplica; equipos con cutoff estricto deben hacer su propio análisis.
Fortalezas. Larga historia de publicación. Tamaños muestrales adecuados. Metodología transparente. Los números son creíbles a nivel meta-analítico.
Debilidades. Muchos estudios usan diseño „incumbent" en vez de „predictive" — correlacionan scores actuales con desempeño actual, no testean candidatos y los siguen. Incumbent generalmente produce coeficientes más altos. Lee la metodología antes de citar el número.
SHL Verify Interactive G+
La afirmación insignia. Verify Interactive G+ mide habilidad mental general con precisión adaptativa y produce validez en el mismo rango 0,50–0,65, con afirmación adicional de que el adaptive reduce error vs forma fija.
Cómo se ve la base. SHL tiene una base global extensa — cientos de estudios, muestras grandes, desplegados en docenas de países. El manual es denso y cubre constructo (estructura factorial G+), criterio (muestras meta-analíticas grandes) y equidad cross-cultural.
Datos de impacto adverso. SHL también publica diferencias. Como CCAT, Verify muestra el patrón estándar. El trabajo de localización de SHL — items ajustados y re-normados para distintos países — reduce algunas fuentes de inequidad cross-cultural, pero las diferencias de habilidad subyacentes permanecen.
Fortalezas. Base de validación más grande y diversa que Criteria, especialmente fuera de US. Metodología adaptativa más eficiente psicométricamente. Análisis IRT fuerte.
Debilidades. Los estudios más grandes se concentran en industrias específicas (financiero, consulting, oil & gas). Generalización a tu rol merece estudio local, que SHL te vende. Algunos coeficientes vienen de diseño concurrent, mismo caveat que Criteria.
Comparativa head-to-head
Ambos aterrizan en aproximadamente la misma banda — 0,50 corregido, 0,30s sin corregir — consistente con la investigación general. No hay estudio head-to-head publicado que muestre uno como meaningfully más predictivo.
Donde realmente difieren:
- Error de administración. El adaptive de SHL reduce error a nivel de test, especialmente en lo alto. La forma fija de CCAT es más sensible a presión y adivinanza.
- Restricción de rango en práctica. Si solo testeas a quienes pasaron resume screen, ambos mostrarán coeficientes menores que los meta porque el pool está range-restricted. Propiedad de cualquier test, no diferencia de vendor.
- Validez cross-cultural. SHL tiene localización más rigurosa para non-US. Para US-only, la brecha es menor.
La validez es necesaria pero no suficiente
Un coeficiente alto te dice que predice desempeño. No te dice:
- Si es el assessment de mayor leverage para tu rol específico
- Si el coste vale la mejora marginal sobre una alternativa más simple
- Si los hiring managers usarán el score o lo anularán por gut
- Si crea problemas de candidate experience que te cuesten buenos candidatos upstream
La investigación de métodos muestra consistentemente que combinar cognitive con otro método válido (muestra, entrevista estructurada) produce validez combinada significativamente mayor.
En la práctica: no elijas CCAT o SHL Verify como filtro único. Elige uno como componente cognitive y combina con entrevista conductual estructurada y muestra de trabajo. Ver nuestro loop de máxima validez.
Dónde encaja ClarityHire
ClarityHire no entrega test cognitive. Nos enfocamos en muestra de trabajo: assessments de coding, live coding, scorecards conductuales estructuradas y verificación de integridad.
El pareo CCAT o SHL Verify + ClarityHire es la configuración que la investigación más respalda para hiring de knowledge workers. La validez combinada llega a 0,60+ en la literatura, materialmente mayor que cualquier método solo.
Cómo evaluar afirmaciones de cualquier vendor
Sea Criteria, SHL o cualquiera, pregunta:
- ¿De qué muestra viene el coeficiente? Concurrent vs predictive importa. Pre-employment es gold standard.
- ¿Qué correcciones se aplicaron? Corregidos vs sin corregir pueden diferir 0,10–0,20. Ambos legítimos; sabe cuál lees.
- ¿Cuál es el ratio de impacto adverso en tu contexto? Los números de vendor son agregados. Haz tu propio análisis.
- ¿Cuál es la historia de validación local? Validez general es default fuerte, pero un estudio local custom es lo único que prueba que el test funciona en tu setting.
Ambos soportan un estudio custom. El de SHL es más elaborado (y caro); el de Criteria es ligero. Cualquiera vale la pena antes de escalar.
Ver también: nuestra comparativa de features y nuestro desglose de precios y ROI.