プロジェクトマネージャーテストの有効性と公正性

採用リーダーが尋ねるべき質問

PM評価を構築しました。シナリオ問題、優先順位付け、リスク評価、行動面接。4以上でスコアする候補者は仕事でうまくいきます。2.5以下でスコアする候補者は失敗します。しかし、それを確認しましたか？そして評価は公正ですか？

このポストは、PM評価の有効性が何を意味するか、それを測定する方法、および実践で公正性がどのように見えるかについて説明しています。

有効性が何を意味するか

評価は、あなたが気になる仕事の結果を予測する場合、有効です。PM採用の場合、それは：「この人は時間内にプロジェクトを出荷し、リスクを上手に管理し、チームの信頼を構築していますか？」

3つのタイプがあります：

1. 予測的妥当性

評価スコアは将来の仕事のパフォーマンスを予測しますか？

測定方法：

• 評価を使用して10人以上のPMを雇います。
• 6か月後、彼らを仕事のパフォーマンスで評価します（360レビュー、マネージャーフィードバック、プロジェクト配信メトリクス）。
• 評価スコアをパフォーマンス評価と比較します。
• 高いスコアラーがうまく機能し、低いスコアラーが苦戦する場合、予測的妥当性があります。

良い外観：

• 評価スコアとパフォーマンス評価の間の0.6以上の相関（強い）。
• 0.4～0.6の相関（中程度、依然として有用）。
• 0.3未満の相関（低、評価は予測的ではありません）。

実際のデータポイント： シナリオベースのPM評価を使用するチームは通常、0.5～0.7の相関を示しています。構造化されていない行動面接を使用するチームは0.2～0.3を参照してください。違いは本当です。

2. 構成的妥当性

評価は本当に何かを測定していますか？

PM評価の場合、あなたは測定を主張します：

• 制約下での意思決定
• 優先順位付けの判断
• リスク認識
• ステークホルダーの影響

確認方法： 「意思決定」で高スコアを得た候補者は、実際に仕事で意思決定を示していますか？またはテストを受けるのが得意なだけですか？

レッドフラグ： 候補者はシナリオ（意思決定）で4.5でスコアしますが、仕事ではヘッジしてコンセンサスを求める傾向があります。評価は重要なことを測定しませんでした。

それを防ぐ方法： 採用後、採用マネージャーに候補者を4つの次元ごとに独立して評価させます（3か月と6か月で）。彼らの評価を評価スコアと比較します。大きなギャップがある場合、評価は間違ったことを測定しています。

3. コンテンツの妥当性

評価には、候補者が実際に直面する可能性のある現実的な問題が含まれていますか？

高いコンテンツの妥当性の例：

• 「10月1日までに出荷しない限り、去ることを脅かしている顧客がいます」（実際のPM問題）。
• 「これらの制約が与えられた機能をランク付けします」（実際のPM問題）。
• 「3つのチームは並行していますが、1つは依存関係です。リスクを特定します」（実際のPM問題）。

低いコンテンツの妥当性の例：

• 「ゼロから10ページのプロジェクト計画を書いてください」（PMは日々の仕事でこれを行いません）。
• 「アジャイルとウォーターフォールを説明してください」（知識、判断ではなくテストします）。
• 「チームを管理したときについて教えてください」（行動的、ワークサンプルではなく）。

測定方法： 評価を役割に現在いる3人のPMに表示します。「これらの問題は実際に直面するようなものですか？」と聞きます。彼らが「いいえ」と言った場合、あなたは仕事のパフォーマンス以外のものをテストしています。

有効性は自動的にはそこにありません

多くの組織は「評価が私たちにとって良く見えるなら、それは予測的である必要があります」と仮定しています。真実ではありません。

厳密に見えるが予測的ではない一般的な評価パターン：

パターン1：詳細なガントチャート割り当て。 外観：専門的、組織的、技術的。 実際に測定するもの：プロジェクト管理ソフトウェアを使用する機能、PM判断ではなく。 予測的妥当性：低（0.2～0.3）。

パターン2：構造化されていない行動面接。 外観：徹底的、人を知ることができます。 実際に測定するもの：インタビュー自信とストーリーテリングスキル。 予測的妥当性：低（0.2～0.3）。

パターン3：ライブデブリーフなしのケーススタディ。 外観：候補者は深く問題について考えます。 実際に測定するもの：コンサルティングスタイルの執筆と分析。 予測的妥当性：中（0.4～0.5）。

パターン4：シナリオ問題+ライブ優先順位付け+リスク評価。 外観：厳密で高価です。 実際に測定するもの：意思決定、判断、システム思考。 予測的妥当性：高（0.6～0.7）。

独自の評価の有効性を確認する方法

ステップ1：仕事「良いパフォーマンス」を定義します

評価がそれを予測するかどうかを確認する前に、結果を定義します：

• タイムライン：PMは、コミットされた日付のマイルストーンを出荷するか、早期警告を提供します。
• スコープ：PMは、コミットしたスコープを出荷するか、ステークホルダーの同意で明示的に再スコープします。
• リスク：PMは、事後に吹き飛ばされる前に、依存関係のリスクを積極的に表面化させます。
• チーム：PMは、変化を通じてチームエンゲージメントと心理的安全性を維持します。

これらを行動的にし、ファジーでないものにします。 「時間内に出荷」は行動的です。「良いリーダーです」はファジーです。

ステップ2：評価を使用して採用し、結果を追跡します

6か月以上10～15PMを雇います。上記の行動定義を使用して、3、6、12か月でのパフォーマンスを追跡します。

測定方法：

• 360レビュー（マネージャー、スキップレベル、ピア）は4つの行動に固定されています。
• プロジェクト配信メトリクス（オンタイム配信率、スコープの変更、チーム保持）。
• スキップレベルの会話：「このPMの通信はどうですか？リスクに驚いていますか？」

ステップ3：評価スコアを結果と比較します

単純なスプレッドシートを作成します：

ほとんどの行が一致する場合、有効性があります。 複数の行が不一致を示す場合、評価は予測的ではありません。

ステップ4：不一致を修正します

高いスコアラー（評価で4.5）が悪く実行する場合（仕事で2.5）：

• 彼らはシナリオで助けを得た可能性があります。
• 評価は仕事のパフォーマンス以外のものを測定している可能性があります（たとえば、テストを受けるのは得意ですが、ステークホルダーコミュニケーションではありません）。
• 彼らは自分たちに適さない役割または環境に着地した可能性があります（PMがスクラムマスターの役割に採用されました）。

低いスコアラー（評価で2.8）が上手に実行する場合（仕事で4.0）：

• 評価はあまりにも厳しいか、間違ったことを測定している可能性があります。
• 別の役割から転送された可能性があり、仕事で学んだ可能性があります。

どちらにせよ、調査して評価を調整します。

公正さ：評価は偏見されていますか？

有効性は予測についてです。公正さは機会均等についてです。

評価は有効（予測パフォーマンス）ですが、不公正（特定のグループに対して偏見）である可能性があります。例：アイビーリーグ候補に精通したビジネス用語で書かれたシナリオですが、コミュニティカレッジ候補には書かれていません。両方のグループは上手にPMできますが、一方のグループは不当にフィルタリングされます。

PM評価の一般的な公正さの問題

問題1：特定の業界背景を想定します。 シナリオはSaaSメトリクスの知識を想定しています。 製造、医療、またはガバナンスからの候補者は不利です。 修正： ドメイン知識を想定しないでください。PMの思考をテストし、ドメインの事実ではありません。

問題2：介護責任がない人に利点を与える時間シナリオ。 「30分の応答、午後5時までに期限。」 育児またはエルダーケアを調整している候補者は不利です。 修正： 柔軟な期限を持つ非同期評価。応答する24時間は妥当です。

問題3：言語/用語障壁。 シナリオは、それを定義せずに特定のPM用語（WIP、バーンダウンなど）を使用します。 非ネイティブ英語スピーカーは不利です。 修正： PMの背景がないと仮定します。用語を定義します。思考をテストし、語彙ではありません。

問題4：外向き人を支持するライブ言葉コンポーネント。 優先順位付け問題は、リアルタイムで口頭で行われます。 執筆で最もよく考える内向的な人は不利です。 修正： 優先順位付けのための書かれたまたは言葉の選択肢を提供します。両方とも有効です。

問題5：特定の文化的適合を想定するシナリオ。 シナリオはスタートアップメンタリティを想定しています：「私たちは不潔で素早く出荷します。」 リスク回避産業からの候補者はこれを無責任と見ており、より低くスコアします。 修正： シナリオを業界に関係なくします。PM思考をテストし、文化的価値ではありません。

公正さを監査する方法

20人以上の候補者に対して評価を実行した後：

1. 候補者を人口統計でグループ化します（追跡する場合：性別、人種、教育背景など）。
2. グループ全体で平均評価スコアを比較します。
3. 1つのグループが体系的に低くスコアする場合、調査します：
   • グループは本当に仕事で低いパフォーマンスですか？（実際のパフォーマンスデータに対して確認してください。）
   • または評価は仕事準備以外のものを測定していますか？（そのグループに聞いてください：「評価は公正に感じましたか？」）

探しているもの： グループ全体の平均スコアが同じ、またはギャップがある場合、そのギャップは仕事のパフォーマンスギャップと一致するべき（より大きくない）。

例：

• グループAは評価で3.8でスコアし、仕事で3.7で実行します。✓正当。
• グループBは評価で3.2でスコアし、仕事で3.5で実行します。✗評価は過小予測されました。何かが評価に問題があります。グループではありません。

無効性または不公正についてのレッドフラグ

無効性：

• 高いスコアラー（4+）は仕事で一貫して上手に実行できません。
• 評価が何を測定しているかを表現することはできません（言うことができない場合、おそらく知りません）。
• ジョブパフォーマンスを経験的に測定していません（あなたは推測しているだけです）。

不公正：

• 特定のグループは体系的に低くスコアし、彼らは仕事で過小実行を確認していません。
• 特定の背景または文化を想定する言語またはシナリオを使用しています。
• 非伝統的なPM背景（ブートキャンプ、内部昇進）からの候補者は、評価段階でフィルタリングされます。

有効で公正な評価の構築

最高のPM評価：

1. ワークサンプルを使用します（シナリオ+優先順位付け）実際の判断をテストし、知識ではなく。
2. 業界に関係なく、またはテストは複数の産業です背景は想定されていません。
3. 可能な限り非同期である異なる作業スタイルと責任に対応します。
4. 成功の外観を定義します（ルーブリック）その後、そのルーブリックは仕事のパフォーマンスを予測することを確認してください。
5. 公正性のために監査されます — 6～12か月ごとに数字を実行してください。

有効で公正な評価はPMが成功することを保証していません。しかし、それはあなたのオッズを劇的に改善します。

PM評価を検証する方法

標準化されたPM評価を使用している場合、プロバイダーに「この評価の予測的妥当性は何ですか？」と聞きます。本当のベンダーは研究を実行しました。そうでない場合、それはレッドフラグです。

独自の評価を構築した場合、上記の単純な4ステップの検証を実行してください（成功を定義し、採用と追跡し、スコアを結果と比較し、不一致を修正します）。6か月かかりますが、採用精度で自分自身を支払います。