はじめに
Google Researchは2026年4月3日、大規模言語モデル（LLM）の行動傾向が人間の社会的判断とどの程度一致するかを測定する評価フレームワークを発表しました。本稿では、心理学の検証済み手法を応用した同フレームワークの設計と、25モデルに対する評価結果を解説します。
参考記事
- タイトル: Evaluating alignment of behavioral dispositions in LLMs
- 著者: Amir Taubenfeld, Zorik Gekhman, Lior Nezry（Google Research）
- 発行元: Google Research Blog
- 発行日: 2026年4月3日
- URL: https://research.google/blog/evaluating-alignment-of-behavioral-dispositions-in-llms/
要点
- Google Researchは、心理学の状況判断テスト（SJT）をベースにLLMの行動傾向を測定する評価フレームワークを開発した
- 25モデルを対象に共感性・感情調節など4特性で評価した結果、大規模・フロンティアモデルは人間が全員一致で同意する場面でほぼ完全な一致を達成した
- すべてのモデルに「過信」傾向があり、人間の意見が大きく割れる場面でも高い確信度で回答する傾向が確認された
- モデルは自己申告で衝動性が低いと示しながら、行動シナリオでは衝動的な傾向を示すなど、自己申告と実際の行動に乖離がある
- フロンティアモデル間でも過信の「方向性」が大きく異なり、学習手順の違いが固有の行動傾向を生み出していることが示唆された
詳細解説
評価フレームワークの背景：なぜ心理学的手法を使うのか
LLMが日常生活や職場環境に広く浸透するなか、モデルの行動傾向を体系的に把握することの重要性が高まっています。従来、LLMの行動傾向はモデルに直接アンケートに回答させる「自己申告」方式で評価されることが多くありましたが、プロンプトの書き方の違いや文脈の変化に出力が大きく左右されるという問題がありました。
Google Researchが今回発表したフレームワークは、この限界を克服するために設計されています。IRI（共感性尺度）やERQ（感情調節尺度）など、査読済み研究で心理測定的妥当性が確立されている標準的な心理測定ツールをベースに、現実的なシナリオへと変換することで、LLMの「実際の行動傾向」を評価します。
状況判断テスト（SJT）による評価の仕組み
フレームワークの核心は、状況判断テスト（Situational Judgment Test: SJT） への変換です。SJTは現実的な場面と2つの行動選択肢を提示し、回答者の判断傾向を測定する手法で、採用選考や行動予測の分野で広く活用されています。
具体的な流れとして、まず心理測定尺度の設問をLLMの「一般的なアドバイス傾向の宣言」として書き直し、そこからSJTシナリオを生成します。テストシナリオには職場での冷静な対応、対人摩擦の解決、旅行の予約といった実務的なタスク、日常的な意思決定など、人間の典型的な日常経験を代表する場面が含まれています。各シナリオは3名の独立したアノテーターによって検証されており、内容の一貫性と行動特性の妥当な反映が確認されています。
評価時にはモデルにSJTを入力して自然な回答を生成させ、LLM-as-a-judgeの手法で2つの選択肢のどちらに近いかを判定します。人間側の回答は550名のアノテーターから各シナリオ10名分を収集し、モデルの反応分布と比較します。
方向一致性：合意度別の評価結果
Google Researchは「方向一致性（directional alignment）」という指標を定義しています。これは、人間の多数派が支持する行動選択肢に対し、モデルがより高い確率を割り当てているかを測るものです。
25モデルの評価結果によれば、250億パラメータ未満の小規模モデルは方向一致性が著しく低く、特性の発現・抑制を区別できていないケースが多く、チャンスレベルに近い一致率にとどまることもあります。一方、1200億パラメータ超の大規模モデルとフロンティアモデルは、人間の合意が全員一致（10/10）の場面ではほぼ完全な一致を達成しています。ただし、合意度が90%を下回ると一致率は80%台前半で頭打ちになる傾向があるとされています。
モデルが人間の多数意見と異なる行動を選ぶパターンについて質的な分析も行われており、3つの傾向が示されています。第1に、職場環境では人間が冷静な対応を求める場面でもモデルは感情的な開放を促しがちです。第2に、対人摩擦の場面ではモデルが主張を通すよりも調和を優先する傾向があり、参加者の選好と逆の結果になります。第3に、時間的プレッシャーのある場面では、論理的な確認よりも即断を促すなど、人間よりも衝動的な行動を推奨するケースが見られます。
分布一致性：意見が割れる場面での「過信」問題
Google Researchは「分布的多元主義（distributional pluralism）」という観点からも評価を実施しています。この考え方は、モデルの応答分布が人間の意見の多様性を反映すべきというもので、人間の意見が割れている場面ではモデルも両選択肢に近い確率を配分することが望ましいとされます。
しかし評価の結果、全25モデルが体系的な過信を示すことが明らかになっています。理想的には人間の合意度に比例してモデルの確信度が変化するべきところ、実際には人間の合意が50〜60%という意見が大きく割れているケースでも、すべてのモデルが高い確信度で回答し続けています。モデルが人間集団の内在的な曖昧さや意見の多様性を適切に反映できていない状況と考えられます。
フロンティアモデル間の比較と学習手順の影響
注目されるのは、フロンティアモデル間でもこの「過信の方向性」が大きく異なる点です。論文では密度プロットを用いて、Anthropic Claude 4 Sonnet、Google Gemini 3 Pro、OpenAI GPT 5.1、Mistral Large、DeepSeek R1の5モデルの位置を示しています。各モデルがどの特性を強く支持する傾向にあるかはモデルごとに異なっており、学習手順やアライメント手法の違いが、それぞれ固有の行動傾向を生み出していることが示唆されています。
自己申告と実際の行動の乖離
本研究では、LLMがアンケートへの直接回答（自己申告）と実際のシナリオにおける行動の間に明確な乖離があることも示されています。特に衝動性については、多くのモデルが自己申告では衝動性が低いと示しながら、SJTシナリオでの行動では衝動的な傾向を示す結果となっています。
LLMに対する自己申告型評価の妥当性については研究者間でも議論があり、構成概念の妥当性を疑問視する立場と、適切なプロンプト設計によって信頼性の高い評価が可能とする立場が存在します。本フレームワークは、心理測定尺度の設問を行動シナリオに直接マッピングするアプローチにより、自己申告の限界を補う手段として有用だと思われます。
まとめ
Google Researchのこの評価フレームワークは、LLMの行動傾向を心理学の検証済み手法で体系的に測定する試みとして興味深い内容です。大規模モデルは高合意シナリオで高い一致率を達成する一方、意見が割れる場面での過信や自己申告と実際の行動の乖離など、アライメント研究における課題も浮き彫りになりました。今後の研究でこれらのギャップがどのように対処されていくか、注目されるところです。
