第5章: サーベイデータ分析 — ドライバー分析とONAのアルゴリズム

ダッシュボードの裏側を開ける

サーベイツールの管理画面には「このドライバーがエンゲージメントに最も影響しています」という レポートが表示されます。「影響（Impact）」という言葉は因果を連想させますが、 その裏で動いているアルゴリズムは何でしょうか。 この章はシリーズ中で最もエンジニア寄りの章です。ベンダーのドキュメントと学術研究を突き合わせて、 サーベイデータ分析の中身——ドライバー分析、リッカート尺度の統計、チーム集計の正当化、 組織ネットワーク分析、テキスト分析、因果推論——を開けていきます。

ドライバー分析 — 「Impact」の中身は何か

ドライバー分析とは、総合的なエンゲージメント指標（アウトカム設問）に対して、 どの設問（ドライバー）が効いているかを特定する分析です。手法には明確な階層があります。

注目してほしいのはQualtricsの設計判断です。Shapley値回帰は変数がk個なら2^k通りのモデルを 回す必要があり、計算量は指数的に増えます。そこでQualtricsはダッシュボードの回答数が500万を超えるとPearson相関にフォールバックする実装にしています。 統計的厳密さとスケーラビリティのトレードオフ——ソフトウェアエンジニアリングそのものです。

リッカート尺度の統計 — 平均を取ってよいのか

さらに足元の問題があります。「どちらかといえばそう思う=4」「そう思う=5」として平均を計算するとき、 私たちは4と5の距離が3と4の距離と等しいと仮定しています。 リッカート尺度は厳密には順序尺度であり、この等距離性は保証されません——という古典的論争に、 決定的な論文があります。

Liddell & Kruschke（2018年、Journal of Experimental Social Psychology） 「Analyzing ordinal data with metric models: What could possibly go wrong?」は、 順序データを距離尺度として分析すると、Type I/IIエラーの増加だけでなく、効果の順序が逆転する（グループAの平均がBより高いのに、 適切な順序モデルでは逆になる）ケースが実データで起こることを示しました。 しかも調査対象とした主要心理学誌でリッカートデータを扱った論文の100%が距離モデルで分析していた。 推奨される代替は順序プロビットモデルです。

実務的な落とし所も示しておきます。5〜7件法で複数項目を合成したスコアなら、 距離扱いによる歪みは小さいことが多い。危ないのは単一項目の比較（eNPSの単項目、単一設問の部門間比較）で、回答分布が歪んでいる場合です。 少なくとも平均値だけでなく分布そのもの（各選択肢の回答割合）を見る習慣が、 最も安価な防御になります。

チーム集計の正当化 — rwgとICC

「チームAの心理的安全性スコアは4.2」という文には、暗黙の仮定があります——チームメンバーの回答が集約に値するほど一致しているという仮定です。 組織研究では、個人回答を集団レベルの構成概念（チームの風土、チームの心理的安全性）に 集計する前に、統計的な正当化を要求します。

• rwg(J)（集団内一致度）: メンバーの回答がどれだけ一致しているか。0.51〜0.70で中程度、0.71以上で強い一致が目安
• ICC(1)（級内相関）: 個人回答の分散のうち集団所属で説明される割合。0.05以上で実質的な集団効果があるとみなす
• ICC(2): 集団平均値の信頼性

一致度が低いのに平均を出すとどうなるか。「半分が5、半分が1」のチームと「全員が3」のチームが 同じ「平均3」として表示されます。前者はおそらく深刻な分断を抱えたチームで、後者は均質なチーム—— 組織の状態として全くの別物です。市販ダッシュボードの「チーム平均ヒートマップ」は この検証を省略しているのが普通なので、平均と一緒に分散（ばらつき）を見るだけでも 読み取りの精度が大きく変わります。集計の後に個人効果とチーム効果を分離するのが マルチレベル分析（HLM）で、学術研究の標準装備です。

組織ネットワーク分析（ONA） — グラフアルゴリズムのHR応用

サーベイが「ノードの状態」を測るとすれば、ONA（Organizational Network Analysis）は 「エッジ」——誰と誰がつながっているか——を測ります。データソースで2方式に分かれます。

• アクティブONA: サーベイで「技術的な相談は誰にしますか」「誰と働くと元気が出ますか」と指名させ、有向グラフを構築。関係の種類（助言・信頼・エネルギー）を区別できるが回答負荷が高い
• パッシブONA: メール・カレンダー・Slack/Teamsのメタデータ（誰が誰と、いつ、どの頻度で。本文は見ない）からネットワークを常時推定。Microsoft Viva Insightsが代表例

分析の中身は、エンジニアにはおなじみのグラフアルゴリズムです。 Microsoftが公開しているRパッケージ vivainsights は、中心性指標としてbetweenness / closeness / degree / eigenvector / PageRankを、 コミュニティ検出としてLeiden、Louvain、Walktrap、Infomapなど igraph経由の9アルゴリズムをサポートしています。 「組織のサイロ化を検出する」とは、コミュニティ検出の結果が公式の組織図とどれだけずれているかを見ること。 「ボトルネック人材の特定」とは、媒介中心性（betweenness）の高いノードを探すことです。

この分野を実務に広めたRob Crossらの研究知見は、直感に反するものを含みます。 パフォーマンスの最大の予測子は賢さではなく「ネットワーク内でエナジャイザーとして振る舞うか」。 そして協働過負荷（collaborative overload）——会議・メンション・相談が集中する状態——は 燃え尽きと離職に直結し、過負荷者に接続された人の離職率は平均の最大200%増。 「つながりは多いほど良い」ではなく、ハブノードの飽和はシステム全体のリスクになる—— 負荷分散の問題として読めます。

自由記述のテキスト分析 — LLM時代の実務

サーベイの自由記述は最も情報量の多いデータですが、分析コストも最大です。 手法はトピックモデリング（LDA、短文にはSTMが適する）からベンダーのNLP実装 （Qualtrics Text iQ、GlintのNarrative Intelligence）を経て、現在はLLM要約が主流になりつつあります （Culture AmpのAI Comment Summaries、Viva GlintのCopilot Highlightsなど。 日本でもカオナビ・SmartHR等が2025年に生成AI分析機能を投入しています）。

精度の相場観としては、GPT-4クラスのモデルでセンチメント判定が人間専門家と77〜82%一致、 定義が明確なカテゴリのfew-shot分類で85〜95%。 研究レベルでは「LLMは外注の人間コーダーより一貫性が高い」という報告もあります。 実務上の留意点は3つ——①精度の最大の決定要因はモデルではなくカテゴリ定義の質、 ②社内スラング・皮肉・微妙なニュアンスは誤読する、 ③少人数部署の自由記述は書き手が特定されうるため、要約表示にも匿名性閾値の発想が必要です。

因果推論 — 施策は本当に効いたのか

分析の最終目的は「打った施策が効いたか」の検証ですが、HR領域ではA/Bテストが困難です。 研修機会や処遇を無作為に配ることは公平性・倫理の壁に当たり、 チーム内で介入群と統制群が相互作用してしまい（スピルオーバー）、そもそも会社は1つしかない。 だからこそ、観察データの解釈がどれほど危ういかを知っておく必要があります。

Illinois Workplace Wellness Study — 観察効果が消えた日

決定的なケーススタディがIllinois Workplace Wellness Study（Quarterly Journal of Economics、2019年）です。イリノイ大学の職員約5,000人を対象に、 職場ウェルネスプログラムの効果を個人レベルのRCT（無作為化比較試験）で検証し、 同じデータで観察研究的な推定と直接比較した稀有な研究です。

graph TB
  subgraph OBS[観察研究の世界]
    A[プログラム参加者は<br/>医療費が低く健康的] --> B[「プログラムに効果あり」<br/>という推定]
  end
  subgraph RCT[無作為化の世界]
    C[参加を無作為に割付] --> D[医療支出・健康行動・生産性<br/>ほぼすべてで有意な効果なし]
  end
  E[自己選択バイアス<br/>もともと健康な人が参加していた] -.観察推定を汚染.-> A

  style B fill:#f97316,stroke:#ea580c,color:#fff
  style D fill:#3b82f6,stroke:#1d4ed8,color:#fff
  style E fill:#ef4444,stroke:#b91c1c,color:#fff

結果——参加者はもともと医療支出が低く健康行動が良好という強い自己選択があり、 共変量調整を尽くした観察推定でも正の効果方向に偏りました。 RCTでは医療支出・健康行動・生産性・自己申告健康のいずれにも有意な因果効果なし （健診受診率のみ増加）。観察データで見えた効果は、無作為化するとほぼすべて消えたのです。 エンゲージメント施策の「効果検証」レポートを読むとき、この研究を思い出してください。 1on1を熱心にやっているチームのスコアが高い——それは1on1の効果かもしれないし、 もともと良いマネジャーが1on1も熱心にやっているだけかもしれません。

現実解 — 準実験デザイン

RCTができないとき、次善の策として準実験デザインがあります。

• 差分の差分法（DiD）: 施策を導入した部門としていない部門で、導入前後の変化の差を取る。部門単位の段階的ロールアウトと相性が良い。導入前のトレンドが平行であることの確認（プレトレンド検証）が必須
• 傾向スコアマッチング（PSM）: 研修受講など自己選択的な施策で、観測共変量から「受講しそうな度合い」を推定し、似た者同士を比較する。ただし「未観測の交絡がない」という強い仮定が必要——Illinois研究はまさにこの仮定が破れた実例
• PSM+DiDの併用: マッチングで比較可能な群を作ってから差分の差分を取る、医療政策研究由来の定石

日本語圏のHR実務記事は「分析→施策→効果検証のPDCA」という一般論が多く、 DiDや傾向スコアまで踏み込んだ解説はほとんどありません。 エンジニアリング組織がプロダクトで当たり前にやっている実験設計の規律を人事データに持ち込むこと—— それ自体が、このシリーズの掲げる「エンジニア視点でHRを再構築する」の実践例です。

次章は分析から対話へ——1on1とマネジャーの章です。高頻度・低遅延の双方向チャネルとしての1on1を、 理論（フィードバック介入理論・コーチング）と実装（ヤフーの全社導入）の両面から見ていきます。