Validez y equidad de pruebas de gerente de proyecto en selección

La pregunta que los líderes de contratación deberían hacer

Has construido una evaluación de PM. Problema de escenario, priorización, evaluación de riesgos, entrevista comportamental. Los candidatos que puntúan 4+ funcionan bien en el trabajo. Los candidatos que puntúan 2.5 o menos fracasan. ¿Pero lo has verificado? ¿Y es justa la evaluación?

Este post camina a través de qué significa validez para evaluaciones de PM, cómo medirla, y cómo se ve la equidad en la práctica.

Qué significa validez

Una evaluación es válida si predice el resultado de trabajo que te importa. Para contratación de PM, es: "¿Esta persona lanza proyectos a tiempo, maneja riesgo bien, y construye confianza de equipo?"

Hay tres tipos:

1. Validez predictiva

¿La puntuación de evaluación predice futuro desempeño laboral?

Cómo medirla:

• Contrata 10+ PMs usando tu evaluación.
• Después de 6 meses, califícalos en desempeño laboral (revisión 360, retroalimentación del gerente, métricas de entrega de proyectos).
• Compara puntuación de evaluación con calificación de desempeño.
• Si los puntuadores altos funcionan bien y los bajos luchan, tienes validez predictiva.

Cómo se ve lo bueno:

• Correlación de 0.6+ entre puntuación de evaluación y calificación de desempeño (fuerte).
• Correlación de 0.4-0.6 (moderada, aún útil).
• Correlación por debajo de 0.3 (baja, la evaluación no es predictiva).

Punto de datos real: Los equipos que usan evaluaciones de PM basadas en escenarios típicamente ven correlación de 0.5-0.7. Los equipos que usan entrevistas comportamentales no estructuradas ven 0.2-0.3. La diferencia es real.

2. Validez de constructo

¿La evaluación realmente mide lo que reclama medir?

Para evaluación de PM, reclamas medir:

• Toma de decisiones bajo restricción
• Juicio de priorización
• Conciencia de riesgo
• Influencia de partes interesadas

Cómo verificar: ¿Los candidatos que puntúan alto en "toma de decisiones" realmente demuestran toma de decisiones en el trabajo? ¿O simplemente son buenos en tomar la prueba?

Bandera roja: Un candidato puntúa 4.5 en el escenario (toma de decisiones) pero en el trabajo tiende a cubrirse y buscar consenso. La evaluación no midió lo que importa.

Cómo prevenirlo: Después de contratar, haz que el gerente de contratación califique al candidato en cada una de las cuatro dimensiones independientemente (a 3 meses y 6 meses). Compara su calificación con la puntuación de evaluación. Si hay una brecha grande, tu evaluación está midiendo la cosa equivocada.

3. Validez de contenido

¿La evaluación incluye problemas realistas que los candidatos realmente enfrentarán?

Ejemplos de validez de contenido alta:

• "Tienes un cliente amenazando con irse a menos que lances antes del 1 de octubre" (problema real de PM).
• "Clasifica estas características dadas estas restricciones" (problema real de PM).
• "Tres equipos están en paralelo pero uno es una dependencia; identifica los riesgos" (problema real de PM).

Ejemplos de validez de contenido baja:

• "Escribe un plan de proyecto de 10 páginas desde cero" (los PMs no hacen esto en trabajo día a día).
• "Explica Agile vs. Cascada" (prueba conocimiento, no juicio).
• "Cuéntame sobre un momento que manejaste un equipo" (comportamental, no muestra de trabajo).

Cómo medirla: Muestra tu evaluación a tres PMs actualmente en rol. Pregunta: "¿Se ven estos problemas como lo que realmente enfrentas?" Si dicen no, estás probando algo otro que desempeño laboral.

La validez no está automáticamente ahí

Muchas organizaciones asumen: "Si la evaluación se ve bien para nosotros, debe ser predictiva." No es verdad.

Patrones de evaluación comunes que se ven rigurosos pero no son predictivos:

Patrón 1: Asignación de gráfico Gantt detallado. Se ve: profesional, organizado, técnico. Realmente mide: capacidad de usar software de gestión de proyectos, no juicio de PM. Validez predictiva: baja (0.2-0.3).

Patrón 2: Entrevista comportamental no estructurada. Se ve: exhaustivo, llega a conocer a la persona. Realmente mide: confianza en entrevista y destreza de narración de historias. Validez predictiva: baja (0.2-0.3).

Patrón 3: Estudio de caso sin debrief en vivo. Se ve: candidatos piensan profundamente sobre un problema. Realmente mide: escritura y análisis estilo consultoría. Validez predictiva: media (0.4-0.5).

Patrón 4: Problema de escenario + priorización en vivo + evaluación de riesgos. Se ve: riguroso y caro. Realmente mide: toma de decisiones, juicio, y pensamiento de sistemas. Validez predictiva: alta (0.6-0.7).

Cómo verificar la validez de tu propia evaluación

Paso 1: Define qué significa "buen desempeño" en el trabajo

Antes de incluso verificar si la evaluación lo predice, define el resultado:

• Línea de tiempo: Los PMs lanzan hitos en la fecha comprometida o proporcionan advertencia temprana.
• Alcance: Los PMs lanzan el alcance que se comprometieron o explícitamente reespecifican con acuerdo de partes interesadas.
• Riesgo: Los PMs exponen riesgos de dependencia proactivamente, no después de que exploten.
• Equipo: Los PMs mantienen engagement de equipo y seguridad psicológica a través del cambio.

Haz estos comportamentales, no borrosos. "Lanza a tiempo" es comportamental. "Es un buen líder" es borroso.

Paso 2: Contrata usando tu evaluación y rastrea resultados

Contrata 10-15 PMs en 6 meses. Rastrea su desempeño a 3, 6, y 12 meses usando la definición comportamental anterior.

Cómo medir:

• Revisión 360 (gerente, skip-level, compañero) anclada a los cuatro comportamientos.
• Métricas de entrega de proyectos (tasa de entrega a tiempo, cambios de alcance, retención de equipo).
• Conversaciones skip-level: "¿Cómo es la comunicación de este PM? ¿Te sorprenden los riesgos?"

Paso 3: Compara puntuaciones de evaluación con resultados

Crea una hoja de cálculo simple:

Si la mayoría de filas coinciden, tienes validez. Si varias filas muestran discrepancias, tu evaluación no es predictiva.

Paso 4: Arregla discrepancias

Si un puntuador alto (4.5 en evaluación) se desempeña mal (2.5 en trabajo):

• Podrían haber recibido ayuda en el escenario.
• La evaluación podría estar midiendo algo otro que desempeño laboral (p. ej., eres bueno en tomar pruebas pero no en comunicación de partes interesadas).
• Podrían haber caído en un rol o entorno que no les conviene (contratados como PM para un rol de Scrum Master).

Si un puntuador bajo (2.8 en evaluación) se desempeña bien (4.0 en trabajo):

• Tu evaluación podría ser demasiado severa o está midiendo la cosa equivocada.
• Podrían haber transferido desde otro rol y aprendido en el trabajo.

De cualquier forma, investiga y ajusta tu evaluación.

Equidad: ¿Está la evaluación sesgada?

Validez es sobre predicción. Equidad es sobre oportunidad igual.

Una evaluación puede ser válida (predice desempeño) pero injusta (sesga contra ciertos grupos). Ejemplo: un escenario escrito en jerga de negocio familiar a candidatos de Ivy League pero no a candidatos de community college. Ambos grupos pueden hacer PM bien, pero un grupo es filtrado injustamente.

Problemas de equidad comunes en evaluaciones de PM

Problema 1: Asumir un trasfondo industrial específico. El escenario asume conocimiento de métricas SaaS. Candidatos de manufactura, cuidado de salud, o gobierno están desventajados. Arreglo: No asumas conocimiento de dominio. Prueba pensamiento de PM, no hechos de dominio.

Problema 2: Escenarios cronometrados que ventajan gente sin responsabilidades de cuidado. "Respuesta de 30 minutos, vencida a las 5pm." Candidatos malabarando cuidado infantil o de ancianos están desventajados. Arreglo: Evaluaciones asincrónicas con fechas límite flexibles. 24 horas para responder es razonable.

Problema 3: Barreras de lenguaje/jerga. El escenario usa terminología específica de PM (WIP, burn-down, etc.) sin definirla. Hablantes de inglés no nativos están desventajados. Arreglo: Asume sin trasfondo de PM. Define términos. Prueba pensamiento, no vocabulario.

Problema 4: Componente verbal en vivo que favorece extrovertidos. El problema de priorización se hace verbalmente en tiempo real. Introvertidos que piensan mejor por escrito están desventajados. Arreglo: Ofrece opción escrita o verbal para priorización. Ambas son válidas.

Problema 5: Escenarios que asumen encaje de cultura específico. El escenario asume mentalidad de startup: "Somos ágiles y lanzamos rápido." Candidatos de industrias adversas al riesgo ven esto como irresponsable y puntúan más bajo. Arreglo: Haz escenarios agnósticos de industria. Prueba pensamiento de PM, no valores culturales.

Cómo auditar por equidad

Después de haber ejecutado tu evaluación en 20+ candidatos:

1. Agrupa candidatos por demografía (si rastreas: género, raza, trasfondo educativo, etc.).
2. Compara puntuaciones de evaluación promedio entre grupos.
3. Si un grupo puntúa sistemáticamente más bajo, investiga:
   • ¿Realmente el grupo se desempeña peor en el trabajo? (Verifica contra datos de desempeño real.)
   • ¿O la evaluación mide algo otro que preparación laboral? (Pregunta a ese grupo: "¿Se sintió justa la evaluación?")

Lo que estás buscando: Puntuaciones promedio iguales entre grupos, o si hay una brecha, esa brecha debería coincidir con la brecha de desempeño laboral (no ser mayor).

Ejemplo:

• Grupo A puntúa 3.8 en evaluación, se desempeña a 3.7 en el trabajo. ✓ Justo.
• Grupo B puntúa 3.2 en evaluación, se desempeña a 3.5 en el trabajo. ✗ Evaluación bajo-predice; algo está mal con la evaluación, no el grupo.

Banderas rojas de invalidez o injusticia

Invalidez:

• Tus puntuadores altos (4+) no se desempeñan consistentemente bien en el trabajo.
• No puedes articular qué la evaluación está midiendo (si no puedes decir, probablemente no sabes).
• No has medido desempeño laboral empíricamente (solo estás adivinando).

Injusticia:

• Ciertos grupos puntúan sistemáticamente más bajo, y no has verificado que se desempeñen peor en el trabajo.
• Estás usando lenguaje o escenarios que asumen un trasfondo o cultura específica.
• Candidatos de trasfondos PM no tradicionales (bootcamp, promociones internas) son filtrados en la etapa de evaluación.

Construyendo evaluación válida y justa

Las mejores evaluaciones de PM:

1. Usan muestras de trabajo (escenario + priorización) para probar juicio real, no conocimiento.
2. Son agnósticas de industria o prueba entre múltiples industrias así que ningún trasfondo es asumido.
3. Son asincrónicas cuando es posible para acomodar diferentes estilos de trabajo y responsabilidades.
4. Definen cómo se ve el éxito (la rúbrica) y luego verifican que esa rúbrica predice desempeño laboral.
5. Son auditadas por equidad — ejecuta los números cada 6-12 meses.

Una evaluación que es válida y justa no garantiza que un PM tendrá éxito. Pero dramáticamente mejora tus probabilidades.

Cómo validar tu evaluación de PM

Si estás usando una evaluación de PM estandarizada, pregunta al proveedor: "¿Cuál es la validez predictiva de esta evaluación?" Vendedores reales han ejecutado los estudios. Si no lo han hecho, eso es una bandera roja.

Si has construido tu propia evaluación, ejecuta la validación simple de cuatro pasos anterior (define éxito, contrata y rastrea, compara puntuaciones con resultados, arregla discrepancias). Toma 6 meses pero se paga a sí mismo en precisión de contratación.