採用向けベストプロダクトマネージャーテスト

PM評価の現状

ほとんどの企業は3つのうち1つを行っています：(1)ポートフォリオレビューとコーヒーチャット、(2)Googleやマッキンゼーからのジェネリックケーススタディ、(3)非構造化の「その時のことについて話して」インタビュー。3つすべてにギャップがあります。

ポートフォリオレビューは声の大きさと企業の出自に偏っています。ジェネリックケーススタディは、最も勉強した人を教えてくれます。より良い決定を下す人ではなく。非構造化インタビューは好感度を測定します。判断ではなく。

最良のアプローチは3つすべてを組み合わせ、実際に予測する必要があるもので重み付けします。

3つの評価形式とそれらが測定するもの

フォーマット1：テイクホームケーススタディ(2～3時間)

測定対象：

• 不完全なデータの下での判断
• 書面での明確さと構造
• 優先順位付けとトレードオフ
• メトリクスリテラシー

実行方法： 実際のメトリクス、顧客フィードバック、市場データを含む現実的なシナリオを提示します。(1)状況を診断する、(2)計画を提案する、(3)成功メトリクスを説明する、(4)リスクを特定するよう依頼してください。

強み：

• 非同期対応（候補者は時間があるときに実行できます）
• 実際の思考を明らかにします。圧力下でのパフォーマンスではなく。
• ブラインドでスコアリングでき、候補者全体で比較できます。

弱み：

• 候補者と評価者の両方に時間がかかります。
• その場での思考方法を明らかにしません。
• 一部の候補者は他の人に助言を求めてカンニングをします（捕捉するのは難しい）。

使用時期： PMおよびシニアPM採用向け。APM向けでは重要度が低く、潜在力と学習速度のために採用しています。

カスタマイズする方法： テンプレートではなく、実際のビジネスを使用してください。オンボーディング向けのPMを採用している場合は、実際のオンボーディングメトリクス、顧客フィードバック、競争分析を提示してください。これにより、あなたの問題について考えた候補者をケーススタディフレームワークを暗記した候補者から分離します。

フォーマット2：ライブ構造化インタビュー(45分)

測定対象：

• その場での思考
• メトリクスリテラシーと診断
• コミュニケーションと説得力
• 曖昧性への対処

実行方法： ビジネスシナリオまたはメトリクス変動を提示します。それを説明し、診断を提案し、次のステップを推奨するよう依頼してください。準備なし。聞き、深掘りし、割り込まないでください。

良い例：「日々のアクティブユーザーが先週8%低下しました。去年の同時期は12%上昇していました。何が起こっているのか、あなたは何をするのかを説明してください。」

強み：

• リアルタイムの反応は偽造が難しい。
• 時間圧力の下で優先順位をつける方法を見ることができます。
• 候補者全体で標準化しやすい。

弱み：

• 一部の優秀なPMは圧力の下で固まります（特に内向的な場合）。
• インタビュアーの質に高い分散がある（悪いプローブはシグナルを殺します）。
• 書面での明確さや深い思考を明らかにしません。

使用時期： すべてのレベル（APM、PM、シニアPM）向け。APM向けは短く（20分、単一シナリオ）、シニアPM向けは長く（45分、複数シナリオ）。

スコアリング方法： シンプルなルーブリックを使用します。診断的思考（正しい明確化質問をしているか？）、メトリクスリテラシー（コーホート、季節性、外部要因を理解しているか？）、コミュニケーション（非PMが彼らの診断を理解できるか？）。各1～4でスコア。複雑に考えすぎないでください。

フォーマット3：行動+実行インタビュー(30分)

測定対象：

• 過去の実行と継続
• 失敗からの学習
• クロスファンクショナル影響
• 実際の制約下での意思決定

実行方法： 圧力下で何かをリリースした時、プロジェクトを中止した時、または懐疑的な経営陣を説得する必要があった時について質問してください。深掘り：「目標は何でしたか？何が邪魔になりましたか？違う方法でしていたことは？結果を測定しましたか？」

最良の候補者は、(1)賭けをした、(2)間違っていた、(3)そこから学んだという物語を持っています。

強み：

• 過去の行動は将来の行動を予測します。
• 失敗から学ぶかどうかを明らかにします（最も重要な特性）。
• 一貫した物語を偽造するのは難しい。

弱み：

• 実際にリリースしたかどうかに依存します。
• 実行履歴のない若い候補者を評価するのは難しい。
• インタビュアーバイアスは実在します（似た経歴を持つ人に同一視するかもしれません）。

使用時期： PMおよびシニアPM向け。APM向けは、所有していない最大の決定についてサポートしたことについて質問してください。

スコアリング方法： 彼らの物語は学習を明らかにしているか？彼らは失敗を認めているか、外部要因を責めているか？彼らが実際に持っていた制約下で意思決定を明確に述べているか（彼らが持ちたかった制約ではなく）？

評価ミックスを構築する

APM採用向け：

• ケーススタディ(45分)：ミニフィーチャースペック。スコープを容赦なくカットできるか？
• ライブインタビュー(20分)：「2週間と1人のエンジニアがいます。何がリリースされますか？」
• 行動(15分)：受け取ったフィードバックについて、そしてそれにどのように対応したかを教えてください。

合計：約80分。シグナル：学習速度、実行、指導可能性。

PM採用向け：

• ケーススタディ(2時間)：不完全なデータによる戦略的優先順位付け。
• ライブインタビュー(45分)：時間圧力下での診断+戦略。
• 行動(30分)：間違った決定について教えてください。

合計：約3時間。シグナル：判断、メトリクスリテラシー、実行、学習。

シニアPM採用向け：

• ケーススタディ(2～3時間)：ポートフォリオ思考と戦略。
• ライブインタビュー(45分)：戦略表現とピア不一致。
• 行動(30分)：最も難しい人または優先順位付け決定。
• リファレンスチェック(30分)：実際にデリバリしましたか？人を育成しましたか？

合計：約4.5時間+リファレンス通話。シグナル：戦略思考、組織的レバレッジ、メンターシップ。

一般的な評価ツールとその比較

ジェネリックケーススタディプラットフォーム(Reforge、Case Coachなど)

長所：

• 候補者は徹底的に準備します。
• スケーラブル。
• 多くの候補者全体でベンチマークできます。

短所：

• 誰もが同じケースを見ています。
• 暗記された答えは良くスコアリングされますが、パフォーマンスを予測しません。
• あなたのコンテキストで判断をテストしません。

結論： 製品について全く考えられない人を排除するためのスクリーニングステップとして有用。実シグナルには不十分。

実践的な演習(Figmaモックアップ、スプレッドシートモデル)

長所：

• 評価する具体的な出力。
• 候補者は実際の仕事をするのが好きです。
• 工芸性と細部への注目を明らかにします。

短所：

• 両側に時間がかかります。
• デザインスキルは製品思考をマスクまたは隠す可能性があります。
• 異なる問題タイプ全体で出力を比較するのは難しい。

結論： ケーススタディと組み合わせると良い。スタンドアロンではなく。

ポートフォリオレビュー(実際の仕事)

長所：

• 影響の実際の証拠。
• 彼らが実際にした決定のコンテキスト。
• リリースした候補者は目立ちます。

短所：

• 有名企業の候補者に偏っている。
• 機密作業を評価できません。
• 会社規模と運が大きく関わります。
• あなたのコンテキストで彼らが素晴らしいかどうかを予測しません。

結論： 価値がありますが不十分。スタートポイントとして良い。決定要因ではなく。

非構造化インタビュー

長所：

• 柔軟。興味深いスレッドをフォロー。
• 高速。準備不要。
• 強いストーリーテリングスキルを持つ候補者が輝きます。

短所：

• インタビュー全体で高い分散。
• 自信がある、洗練された候補者に偏っている。
• 同じ軸で候補者全体を比較しません。
• インタビューは素晴らしいがエグゼキューション能力がメディオクリティーな人を採用するかもしれません。

結論： 主要な評価として回避。最終的なカルチャーフィット確認としてのみ使用。

独自の評価を構築する

最良の評価はあなたのビジネスと実際に必要とするものに合わせた評価です。

ステップ1： PM役割で成功がどう見えるかを定義します。成長ですか？リテンション？ユニットエコノミクス？売上？プラットフォーム安定性？

ステップ2： それを中心にケーススタディを構築します。実際のメトリクス、実際の決定、実際の制約を使用します。シナリオパターンについてはプロダクトマネージャーテスト例質問を参照。

ステップ3： ルーブリックを作成します。何が良くスコアリングされますか？失敗からの学習、実用性、メトリクスリテラシー、または何か他のもの？ルーブリックテンプレートについてはプロダクトマネージャーを評価する方法を参照。

ステップ4： テストします。同じケーススタディを最高のPM 3～5人に提供します。スコアします。高パフォーマーはスコアが高いですか？そうでなければ、ルーブリックが間違っています。

ステップ5： 実行します。ClarityHireの構造化評価を使用して一貫性をもって配信し、ブラインドでスコア、候補者全体で比較します。結果を解釈するためのガイダンスについては、プロダクトマネージャー評価結果の解釈を参照。

避けるべきこと

自信を能力と混同しないでください。一部の優秀なPMは静かです。

スマートさを判断と混同しないでください。非常にスマートな人の中には、ひどいトレードオフ決定をする人がいます。

フレームワークを思考と混同しないでください。RICEを暗唱できるがそれを適用できないPMは危険です。

単独で評価しないでください。複数の人に独立してスコアリングさせ、その後議論します。不一致がシグナルがあるところです。

また、あなたの評価が有効で公正であることを確認してください。バイアス耐性のある評価を構築するためのガイダンスについては、プロダクトマネージャーテスト妥当性と公正性を確認してください。

優れたPM評価のROI

悪いPM採用はあなたの会社に18か月以上の費用がかかります（立ち上げ、失敗、交換）。優れたPM評価は3～4時間かかり、誰かがあなたのコンテキストで結果をデリバリするかどうかを教えてくれます。

最高のチームは評価を自動化し、ブラインドでスコアリングし、技術的なインタビューと同じくらい真摯に扱います。あなたもそうすべきです。