第2章: 効果測定の科学 — Kirkpatrickは「モデル」ではない

研修最終5分の紙1枚が、業界を支配している

前章では、人材育成が3つの系統の合流物であり、実務での普及度と実証的裏付けが 逆相関する構造を持つことを見ました。その最も典型的な例が、この章で扱う効果測定です。

企業研修の効果測定は、ほぼ例外なくKirkpatrickの4段階で語られます。 レベル1（反応）→ レベル2（学習）→ レベル3（行動）→ レベル4（結果）。 そして実務では、その大半がレベル1——研修最終5分に配られる満足度アンケート——で止まります。

この章の結論を先に述べます。満足度アンケートは、学習をほとんど予測しません。メタ分析が示す相関は r = .02。ほぼゼロです。 しかも同じアンケート用紙で聞き方をひとつ変えるだけで、予測力は r = .26 まで上がります。 この事実は1997年から公表されているにもかかわらず、実務はほとんど変わっていません。 なぜそうなるのかまで含めて、この章で扱います。

Kirkpatrick本人は「モデル」と呼んでいない

出発点として、成立史に重要な事実があります。 Donald Kirkpatrick は1954年の博士論文を起点に、1959〜60年にASTD誌へ4本の連載記事を発表しました。 1977年にASTDがそれを1本にまとめて再掲しています。

ここで押さえるべきは、Kirkpatrick自身は "levels"（レベル）という語を使わず "steps"（ステップ）と呼び、 "model"（モデル）とも呼んでいないことです。彼の表現は 「評価を実施するための techniques（技法）」でした。 「Kirkpatrickの4レベルモデル」という定式化は、後世の産物です。

この差は言葉遊びではありません。「ステップ（手順）」と「モデル（因果を説明する構造）」では、 背負う説明責任がまったく違うからです。次に見る批判は、まさにこの点を突いています。

検証されていない3つの前提 — Alliger & Janak (1989)

Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342.

発表から30年を経て、この論文は4段階が暗黙に置いている3つの前提を洗い出しました。

批判の核心は、②の因果連鎖を前提すると 「結果（レベル4）が最も重要で情報量が多い」という誤った序列が導かれてしまう点にあります。 加えて、レベル1とレベル2は同時に測定可能であり、一方が他方を必然的に規定するわけでもありません。

実測 — 満足度は学習を予測しない

③の前提を実際に測ったのが、この領域で最も実務に効くメタ分析です。

Alliger, G. M., Tannenbaum, S. I., Bennett, W., Traver, H., & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50(2), 341-358.（34研究・115の相関）

この研究の巧妙なところは、Kirkpatrickの枠組みをそのまま検証せず、先に分解した点です。 「反応」を感情的反応（affective：面白かった、満足した）と有用性反応（utility：仕事に使えそう）に分け、 「学習」も直後学習・保持・行動実演に分けました。結果がこれです。

読み方はこうです。

• 「面白かったか」「満足したか」を聞く設問（感情的反応）と学習の相関は r = .02。 実質的にゼロで、この設問への回答からは受講者が何かを学んだかどうかを一切予測できません
• 「仕事に使えそうか」を聞く設問（有用性反応）は r = .26。 強い相関ではありませんが、桁が違います
• さらに重要なのは、有用性反応は、直後学習や保持学習よりも「転移」のより強い予測子だったことです。 つまり「職場で実際に使われるか」を最もよく予言するのは、テストの点数ではなく 受講者自身の「これ使えそうだ」という判断でした

「これは評価モデルではなく分類法だ」— Holton (1996)

Holton, E. F. III (1996). The flawed four-level evaluation model.Human Resource Development Quarterly, 7(1), 5-21.

Holton の主張は根本的です。4段階は評価モデル（model）ではなく、成果の分類法（taxonomy）である、と。 評価モデルを名乗るには、少なくとも次の3つを満たす必要があります。

• (a) 成果を正確に特定していること
• (b) 媒介変数の効果を説明していること
• (c) 因果関係を明示していること

4段階はいずれも満たしていません。Holton の代替モデルは媒介変数を明示します—— 学習動機、訓練可能性（trainability）、職務態度、個人特性、そして転移条件。 「研修が良かったのに成果が出ない」を説明するには、研修と成果の間に何が挟まっているかを 書き下す必要がある、という主張です。

graph LR
  subgraph K["Kirkpatrick 4段階（分類法）"]
    K1[反応] --> K2[学習] --> K3[行動] --> K4[結果]
  end

  subgraph H["Holton の批判: 媒介変数が抜けている"]
    T[研修] --> L[学習]
    L --> B[職場での行動]
    M1[学習動機] --> L
    M2[訓練可能性] --> L
    M3[職務態度] --> B
    M4[転移条件<br/>上司の支援 実践機会] --> B
    B --> R[組織成果]
    M5[外部要因<br/>市況 他施策] --> R
  end

  style K1 fill:#6b7280,stroke:#4b5563,color:#fff
  style M4 fill:#f97316,stroke:#ea580c,color:#fff
  style M1 fill:#f97316,stroke:#ea580c,color:#fff
  style B fill:#10b981,stroke:#059669,color:#fff

なお同誌の同じ号には Kirkpatrick 本人の反論と Holton の再反論が収録されており、 「モデルか分類法か」の論争としてそのまま読めます。

改訂版の応答 — New World Kirkpatrick Model

James & Wendy Kirkpatrick による改訂版は、この批判への部分的な応答と読めます。 主な変更点は次のとおりです。

• レベル4から逆算して設計する（backward planning）。「研修を作ってから効果を測る」の逆
• レベル2に confidence（自信）と commitment（コミットメント） を追加
• Required Drivers（必須ドライバー）：職場で重要行動を強化・監視・奨励・報酬づけするプロセスとシステム （ジョブエイド、コーチング、表彰制度等）。これがなければ優れた研修でも転移しないという位置づけ
• The Performance Environment：リーダーシップ・システム・文化・外部要因が全レベルに影響する基盤要素 として、2026年の更新で明示的に追加された
• 成果指標をステークホルダーと事前に合意する ROE（Return on Expectations）
• cROI（Contributive ROI）：複数の寄与要因があることを認めた上で財務帰属を行う

Required Drivers と Performance Environment の追加は、まさに Holton が要求した 「媒介変数を明示せよ」への応答です。ただしRequired Drivers 自体の効果量エビデンスは提示されておらず、 そこは引き続き実証の空白として残っています。

実務的に注目すべきは、レベル3（行動）の公式定義に 「重要行動を実行し、かつそれが支援され説明責任が課されている度合い」という文言が入っている点です。レベル3は個人の測定であると同時に、環境の測定でもある——ここは実務家でも見落とされがちです。

自己評価は学習ではなく満足度を測っている — Sitzmann (2010)

もうひとつ、実務で多用される測り方に強烈な一撃を与えた研究があります。

Sitzmann, T., Ely, K., Brown, K. G., & Bauer, K. N. (2010). Self-assessment of knowledge: A cognitive learning or affective measure?Academy of Management Learning & Education, 9(2), 169-191.

つまり「自分はどれくらい理解できたと思うか」という設問は、実際の理解度（r = .34）よりも、やる気（r = .59）や満足感（r = .51）を強く反映しているということです。 自己評価は認知指標の顔をした情意指標でした。

決定的な指摘は、評価研究の約3分の1が、自己評価による知識データを「認知的学習」の証拠として解釈していたという事実です。「研修後に『スキルが上がった』と答えた人が80%でした」というレポートは、 学習量ではなく満足度を報告している可能性が高い。 r = .34 は決定係数にすればおよそ12%——実際の学習の分散のうち説明できるのは1割強にすぎません。

では研修そのものは効くのか

ここまで測定の問題ばかり見てきましたが、「研修は無意味」という結論ではありません。

Arthur, W. Jr., Bennett, W. Jr., Edens, P. S., & Bell, S. T. (2003). Effectiveness of training in organizations: A meta-analysis of design and evaluation features.Journal of Applied Psychology, 88(2), 234-245.

d ≒ 0.6 は中〜大の効果です。「研修は効く」は支持されます。 ただし但し書きが3つ必要です。

• k の差：学習基準は234研究あるのに対し、組織成果は26研究。同じ「d ≒ 0.62」でも推定の精度がまるで違います
• 出版バイアス：効果が出た研究ほど発表されやすい
• 対象：統制群を持つ研究が中心であり、これは「研究として設計された研修」の効果です。 実務で日々行われている研修の平均的効果ではありません

レベル5（ROI）と、代替枠組みLTEM

Phillips ROI モデル

4段階の上に第5レベル（ROI）を置いたのが Phillips のモデルです。 ただし実務上の批判が2点あります。

• ROI計算はプログラム実施後に適用されることが多く、 コストが価値を上回っていたと判明しても手遅れです。改善のフィードバックループとして機能しません
• レベル4→5の金銭換算には、研修以外の要因の効果を差し引く「隔離（isolation）」手続きが必要ですが、これが主観的判断に依存します。 「この売上向上のうち何%が研修の寄与か」を決める客観的手続きが存在しないのです

New World Kirkpatrick の cROI（複数の寄与要因を認めた上での財務帰属）は、 この「研修だけの効果を分離する」という試み自体を最初から諦めるという、現実的な設計変更と読めます。

LTEM — 測定対象の粒度を上げる

Will Thalheimer が2018年に提案した LTEM（Learning-Transfer Evaluation Model） は、 4段階を8ティアに分解し、しかも下位ティアを明確に「不十分」と評価する点が特徴です。

設計上の工夫として、ティア4・5・6ではそれぞれ「即時 vs 遅延（3日以上）」を分離しています。 研修直後のテストは短期記憶を測っているだけで、実務で必要な長期記憶を測っていない—— この学習科学の知見を、モデルの構造そのものに埋め込んだわけです。

Thalheimer の Kirkpatrick 批判で本質的なのは、「レベル2＝学習」が1つのバケツに全てを詰め込んでいるという指摘です。 ひとつのレベルに知識の暗唱から実務判断力までが同居していれば、 測定は最も安上がりな方法（知識の暗唱テスト）に収斂します。 加えて、Kirkpatrickの枠組みには記憶保持（remembering）に関するメッセージがまったくないことも指摘されています。

なぜレベル1で止まるのか — 構造的な理由

ここまでの知見はいずれも公表済みで、目新しいものではありません。 それでも実務が変わらないのは、担当者が怠慢だからではなく、構造的な理由があるからです。

次章では、効果測定の枠組みから、育成の中身そのものへ進みます。 実務で最も普及した2つのツール——70:20:10と9ボックス——の出自を、 一次資料まで遡って検算します。この章で見た「普及度と実証性の逆相関」が、 さらに極端な形で現れることになります。