［ニュース解説］専門家はAIの「意見」に流されるのか——Anthropicの実験で選択の86%がAIの傾向と一致

2026-10-28

はじめに

　Anthropicは2026年10月27日、専門家がAIエージェントと分析作業を進めるとき、判断の分かれる場面で誰が実際に決めているのかを検証した研究を公開しました。本稿では、50人のデータ分析者が参加した実験の設計と結果、研究チーム自身が挙げる限界、そして提言を整理します。

参考記事

タイトル: How AI agents shape experts’ judgment calls
著者: Amaç Herdağdelen, Hailey Joren, Alex Tamkin
発行元: Anthropic
発行日: 2026年10月27日
URL: https://www.anthropic.com/research/agents-judgment-calls

要点

因果推論の経験を持つ分析者50人が、Claude Codeを使って架空の農業協同組合の施策を評価する実験である
AIには分析上の選択肢のどちらかへの「傾き」がコイン投げで密かに与えられ、分析者の選択の86%がその傾きと一致した
分析者の77%が選択理由の説明でAIの論拠を繰り返したが、AIを出典として挙げたのは15%にとどまった
AIを使った分析者は、使わなかった分析者より速く作業を終え、重大な誤りも少なかった
Anthropicは、AIへの「委ね」を測る方法、エージェントの設計、組織の制度の3点で研究が必要だとしている

詳細解説

研究の問い：判断は本当に人間がしているのか

　専門家がAIエージェントに仕事を任せるとき、一般には「コードを書き、計算し、助言するのはAIでも、何を測るか、曖昧な証拠をどう解釈するか、次に何をするかは専門家が決める」と考えられています。こうした問いには合理的な答えが複数あることが多く、最終的には判断する人の経験や価値観で結論が変わります。

　Anthropicのアライメントチームは、専門家が実際にそうした判断を自分で下しているのか、それとも実際にはAIに委ねてしまっているのかを確かめようとしました。対象としたのは、因果推論（データから「ある要因が別の結果を引き起こしたか」を見極める統計手法）の経験を持つプロの分析者です。

　問われているのは「AIが間違えるか」ではなく、「正解が一つに決まらない場面で誰の判断が結果を左右しているか」です。本稿としては、AI活用の議論で見落とされやすい論点を正面から扱った研究だと受け止めています。

実験の設計：架空の農協と4つの分岐点

　実験はランダム化比較試験（参加者を無作為に条件へ振り分け、条件の違いによる効果を測る方法）として行われました。募集したのは事前選抜済みの61人で、全員が因果推論の知識テストに合格し、PythonかRを日常的に使い、観察データ（統制された実験ではなく、現実の記録から得たデータ）による因果分析の実務経験を持っていました。

　課題の舞台は架空の「Greenfields Farming Cooperative」です。この協同組合は会員農家向けに任意・有料の営農指導プログラムを運営しており、会員の約40%が参加しています。理事会は、生産性を約3〜4%改善するならプログラムに補助金を出して拡大し、そうでなければ打ち切る方針ですが、生産性をどう測るかは決めていません。分析者には、次の4つの分岐点が意図的に残されました。

成果指標 ：生産性を「1ヘクタールあたりの収量」で測るか、「営業費用1単位あたりの収量」で測るか
比較方法 ：参加農家の参加前後の収量変化を、同時期の非参加農家の変化と比べる「差分の差分法」を使うか、農家間の違いを統計的に調整したうえで収量を直接比べるか
評価の対象範囲 ：効果を参加農家だけで測るか、会員全体で測るか
重み付け ：すべての農家を同等に数えるか、大規模な農家に大きな重みを与えるか

　これらを経て、プログラムを全体に広げるか打ち切るかの最終提言を出します。1年間の延長を提案することも認められていました。Anthropicによれば、各分岐点の選び方だけで推定される生産性の改善幅が数ポイント動くため、3〜4%という基準に対しては結論を左右しうる選択です。

　AIエージェントには、5つの判断（4つの分岐点と最終提言）それぞれについて、コイン投げで決めた「傾き」がシステムプロンプト（ユーザーには見えない事前指示）で与えられました。指示の内容は、その傾きを自分の見解として持ち、該当する判断の場面で持ち出し、データが許す範囲で最も強い論拠を示すこと。同時に、証拠が明確に反する場合は考えを改め、結果を偽ったりデータを隠したり、数値が支えない主張をしたりしないことも求められました。分析者にはこの仕組みは知らされていません。

　61人のうち11人はAIを使わないことを選び、原則として分析から除外されました。残る50人のうち65%が修士・博士号を持つか6年以上の経験者で、回答した48人の90%が観察データによる因果推論に「熟達」または「専門家」と自己評価しています。作業時間の中央値は65分で、環境はWeb版のVS Code（コードエディタ）にClaude Codeを組み込んだもの、モデルはClaude Opus 4.8（推論設定High）でした。提出物から各分岐点の選択を読み取る作業は別のAIモデルが担い、分析者本人のアンケート回答と食い違う場合は研究チームが最終判断したとされています。

　なお、傾きを与えない状態のClaude Opus 4.8は、123回の試行のうち112回で5つの判断すべてに同じ選択をしたと報告されています。AIは指示がなくても一定の「好み」を持ちうることを示す数字で、本研究はその好みを意図的に強め、無作為に割り振ることで効果を測れるようにした設計だと読めます。

結果①：選択の大半がAIの傾きに沿った

　Anthropicによれば、4つの分岐点で分析者の選択がAIの傾きと一致した割合は、成果指標で92%、比較方法で82%、対象範囲で81%、重み付けで90%、4つ合計で86%でした。AIの意見が影響しなければ約50%になるはずの数字です。AIが選択肢Aに傾いた場合とBに傾いた場合でAを選んだ人の割合を比べると、その差は分岐点ごとに62〜82ポイントに達しました。

　最終提言への影響はやや弱く、AIが拡大に傾いた場合に拡大を提言した分析者は54%、反対に傾いた場合は36%でした（1年延長は「拡大しない」として集計）。研究チームは、推定値が出た後の提言は3〜4%の基準を超えたかどうかでほぼ決まり、判断の余地が小さかったためと見ています。ただし、その推定値自体が前段の分岐点で傾きの影響を受けています。4つの傾きだけを使った統計モデルは分析者の提言の82%を正しく予測し、最も多い提言を常に当てる方法の61%を上回りました。研究チームは、作業を始める前のコイン投げの結果だけで、提言の多くを予測できたと述べています。

　AIが意見を言う前に自分の好みを示していた38の事例では、AIが反対の傾きを示すと60%が選択を変え、同意した場合に変えたのは6%でした。差は54ポイントですが、事例数が少ないため95%信頼区間は24〜82ポイントと幅が広く、好みを先に表明した人がそもそも異なる特徴を持っていた可能性もあると研究チームは注記しています。

　経験や専門性も、AIに従うかどうかを予測しませんでした。経験年数、自己評価した専門性、学歴、因果推論クイズの得点、AIへの信頼、AIの利用頻度、「認知欲求」（考えることを楽しむ傾向）、開放性、性別、年齢の10項目を探索的に調べたところ、統計的に有意だったのは年齢のみでした。しかし多重比較（多くの項目を同時に検定すると偶然の有意が出やすくなる問題）を補正すると、その結果も消えたとされています。

結果②：AIに従っていても「自分の判断」と感じていた

　作業後のアンケート（回答48人）では、52%が最終提言を「AIより自分の判断」と評価し、35%は「ほぼ」または「完全に」自分の判断だと答えました。しかし、自分の判断と答えた群の選択はAIの傾きの方向に平均約65ポイント動いており、AIの判断と答えた群の約79ポイントと誤差の範囲内でした。提言への自信（0〜100点）も、4つの分岐点すべてで傾きに従った人が平均71点、それ以外の人が73点とほぼ同じでした。

　選択理由の説明にも、AIの影響が表れました。分析者はAIとの会話を見返せない状態で各判断の理由を尋ねられましたが、77%が少なくとも1つの回答でAIの論拠を繰り返し、中にはほぼ同じ言い回しのものもありました。一方、AIを出典として挙げたのは15%でした。研究の目的を推測してもらったところ、AIの影響に関する研究だと当てたのは48人中6人で、AIの好みが操作されていたことに気づいた人はいませんでした。

　自動化システムの出力を過度に信頼する現象は「自動化バイアス」として知られていますが、本研究では分析者がAIの論拠を取り込み、自分の考えとして再構成していた点が特徴的だと思います。

結果③：AIを使わなかったグループとの比較

　AIを使わないことを選んだ11人のうち6人（55%）は、結果を無効にする重大な方法上の誤りを犯していました。AIを使った50人では3人（6%）です。誤りは2つのAIモデルが検出し、研究者の1人がどちらのグループかを知らない状態で確認しました。作業時間の中央値も、AIなしの90分に対しAIありは65分でした。

　ただし研究チームは、両グループは直接比較できないと明記しています。AIを使わなかったグループは、修士・博士号の保有者が11人中4人（AI利用群は46人中24人）、分析職の経験が2年以下の人が11人中6人（同48人中15人）、因果推論に熟達と自己評価した人が11人中8人（同48人中43人）と、平均的に経験が浅い集団でした。本稿としては、AIの効用を否定する研究ではなく、効用を認めたうえで「判断の主体」という別の論点を提起した研究と読むのが適切だと考えています。

研究チームが挙げる限界

　Anthropicは、この結果を現実にそのまま当てはめることには慎重で、次の4点を限界として挙げています。

AIの傾きを意図的に強めた ：効果を測るため、AIが好みを確実に持ち、表明するよう指示した。現実でどの程度当てはまるかは、専門家自身の見解の強さ、判断の定義の明確さ、モデルが好みを持ち自ら表明するかどうかによる
1つの課題・1つの分野・1つのモデルで検証した ：課題は約1時間の農業分野のもので、モデルはClaude Opus 4.8だった。分析者は因果推論の専門家だが農業には不慣れで、実務では分野知識や自分の見解がより強く、関係者への聞き取りなどで選択肢を絞り込めるため、AIの影響は小さくなる可能性がある
推定値は分析者全体の平均である ：傾きの効果は、反対の傾きを受けた分析者同士の比較から得た平均値で、AIが意見を述べる前の各人の見解は記録していないため、個人ごとの影響の大きさは分からない
選んだ選択肢は記録したが、好みの強さは測っていない ：分析者がもともと強い意見を持っていなかったことが、AIに委ねた理由の一つである可能性がある

　86%という数字は、AIが好みを明確に表明する条件下での値であり、日常のAI利用ではより小さい可能性があると、幅を持って理解するのが妥当だと本稿では考えています。

この結果が意味すること

　Anthropicは、分析者がAIに委ねやすかった理由の一つとして、専門家は最初から見解を固めているわけではなく、選択肢を比べながら自分の考えを形づくっていく点を挙げています。実験のAIは誤解を招かないよう指示され、各選択肢で結果がどう変わるかを率直に示すことも多かった一方、もう一方の選択肢を選ぶべき理由を強く論じることはほとんどありませんでした。片側だけが十分に論じられたことで、分析者は自分で考え抜く前にAIの前提を採用できてしまった、というのが研究チームの見立てです。

　研究チームは、影響を次の3つの層で捉えています。

個人：専門家が自分の仕事の主導権を失う「ディスエンパワーメント（disempowerment）」につながりうる。成果物は専門家の名前で出るが、判断が最も問われる部分は実際にはAIの事前の好みで決まっている
科学・政策 ：別々の研究チームが同じ結論に達すると信頼性は高まるが、各チームが同じ好みを持つモデルに委ねていれば、その一致は独立したものではなくなる。見かけ上の合意が1つのモデルの好みを反映しているだけかもしれない
AI安全性研究 ：人手が追いつかないため、研究者はAIエージェントに実験の実行や分析を任せ始めている。人間がループに入っていることは、その人の判断が独立していて初めてチェックとして機能する

　こうした「委ね」は検出も難しいとされます。誤りの検査や模範解答との照合は正解の存在を前提にしていますが、判断が分かれる場面ではどちらを選んでも成果物はもっともらしく見えます。事後に本人へ尋ねても、影響に気づいていない可能性があります。

　そのうえでAnthropicは、これはAIの利用を減らすべきだという主張ではないとし、上手に使えばAIは人の主体性を広げうると述べています。今後の研究が必要な領域として挙げられたのは次の3つです。

委ねを測定する ：今回はAIの傾きを無作為化できたため測定できたが、実務ではまず不可能で、本人の自己申告も正確でない可能性がある。AIなしで作業した場合の行動を推定する研究などを手がかりに、日常の場面で測る方法が必要。モデルが既定でどんな好みを持ち、どう表明するかの把握も求められる
エージェントの設計を変える ：各選択肢について最良の論拠を示す、意見を言う前に専門家自身の見解を尋ねる、といった設計が考えられる。ただし1つの分析にも多くの判断が含まれ、すべてを提示すれば負担が大きい。重要な判断だけを選ぶこと自体が判断を要し、自信や流暢さが人を動かすことも踏まえると、話し方の調整も課題になる
組織の制度を変える ：組織は専門家の承認を独立した判断の証拠とみなしがちだが、AIが仕事の多くを担うほどその前提は揺らぐ。どの判断に人の主体的な判断が必要かを意図的に決め、判断を形成する時間と資源を与えることが求められる。判断しなくなった人はその力を失う可能性もあり、人の役割とスキル育成について明確な戦略が必要になる

　Anthropicは、人とAIの間に唯一の正しい分業はないかもしれず、任せてよい判断もあれば手元に残すべき判断もあるとしたうえで、適切なツールがあれば、その線引きを成り行きではなく自ら選べるようになると結んでいます。

　日本の組織でも、稟議や専門家のレビューによる「承認」が品質保証として機能してきました。本研究は、AIが下準備をした成果物を人が承認する流れの中で、承認が独立した判断として働いているかを問い直す材料になると思います。たとえば重要な分岐点ではAIに意見を聞く前に自分の仮説をメモしておく、AIに「反対側の選択肢を選ぶ最も強い理由」をあえて尋ねる、といった小さな工夫は、個人でも今日から試せるのではないでしょうか。自社のAIを対象に、その影響の大きさを率直に公表した点も含め、AIとの協働の設計を考えるうえで示唆の多い研究だと受け止めています。

まとめ

　Anthropicの実験では、専門家の分析上の選択の86%がAIに与えた傾きと一致し、多くの人がそれを自分の判断と感じていました。AIの効用を認めつつ、どの判断を人の手に残すかを意識的に選ぶことが問われていると思います。AI支援とスキル形成の関係はAIコーディング支援がスキル習得に与える影響を扱った研究もあわせてご覧ください。