［AIツール利用者向け］AIの誤った助言はなぜ「わからない」を言えなくさせるのか

2026-07-28

はじめに

　AIに誤った助言を求めても、人は正解率が下がる一方で自信を強め、「わからない」と答えられなくなる——。本稿では、報道内容と論文原文の実験データをもとに、AI相談が判断や不確実性の認識に与える影響を解説します。

参考記事

タイトル: Why wrong AI advice makes people more certain
著者: Sascha Brodsky
発行元: IBM Think
発行日: 2026年7月27日
URL: https://www.ibm.com/think/news/why-wrong-ai-advice-makes-people-more-certain

タイトル: AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized
著者: Chiara Marcoccia, Walter Quattrociocchi, Valerio Capraro
発行元: arXiv(プレプリント)
発行日: 2026年7月
URL: https://arxiv.org/pdf/2607.13562

要点

論文によれば、AIに相談できる条件では、相談できない条件に比べて「わからない」と答える割合が最大で6倍前後減少し、合計5つの実験(参加者総数3,132人)でこの傾向が一貫して確認された
実験では映画の細部に関する設問6問を用い、AIがほぼ確実に誤答するよう意図的に設計した上で、判断保留・正答率・自信度への影響を切り分けて観察した
金銭的インセンティブを与えるとAIへの相談頻度が下がり正答率は改善したが、判断保留の水準はAIが使えない場合に遠く及ばなかった
AIの助言が自動表示され自ら求めていない場合でも、判断保留を強く抑制する効果は変わらず観察された
論文の著者ヴァレリオ・カプラーロ氏は、AIが人間の判断を代替するのではなく補強する関係が重要だと述べている

詳細解説

研究の概要と問いの立て方

　IBM Thinkによれば、論文の共著者であるミラノ・ビコッカ大学准教授ヴァレリオ・カプラーロ氏は、今回の実験について「セカンドオピニオンを取り入れるというより、判断そのものを丸ごと外部委託しているように見えた」と述べています。論文原文では、この研究が「人はAIに助言を求められるとき、そもそも答えるべきかどうかを判断する基準そのものを変えてしまうのか」という問いを検証したと説明されています。これまでの研究の多くは、AIに相談した結果「正解したか誤答したか」を測るものであり、「わからない」と答える選択肢自体をAIが奪っているかどうかは検証されてきませんでした。

　メタ認知(自分の知識や不確実性を評価する能力)という観点から見ると、これは「知っているつもりの水準」が変化したと理解できるのではないかと思います。人は本来、正解が分からないときに「わからない」と答える選択肢を持っていますが、AIの助言があるだけで、その判断の基準そのものが緩んでしまう可能性があると考えられます。

実験設計の工夫:あえて間違えるAIを使う

　論文によれば、研究チームは映画の些細な視覚的詳細に関する設問6問を用意しました。具体的には、アニメ映画『アステリックスとオベリックス』の海賊船の船首を飾る動物、『グランド・ブダペスト・ホテル』のアガサの髪型、『ベッカムに恋して』のチームのユニフォームの色、イタリア映画『Come un gatto in tangenziale』でモニカが運転する車種、『モモ』(エンツォ・ダロ監督)に登場する亀の色、『ジョセフ天のかけ橋』でアセナトが飼うペットの動物、という6問です。これらは、ネット上のテキスト情報にほとんど載っていない些細な内容として選ばれており、実験で使われたAIモデル(StepFun社のStep 3.5 Flash)はほぼ例外なく誤答したと論文は報告しています。

　この設計が重要な理由は、「AIの助言に従うこと自体は多くの場合合理的な行動である」という前提を排除できる点にあると考えられます。もしAIの助言がおおむね正しいなら、それに頼って自分の判断を控えることは効率的な分業といえますが、今回のようにAIが体系的に誤る状況を作ることで、判断保留の減少を「合理的な委任」ではなく「AIへの過度な追従」として解釈できるようになります。なお論文の補足資料では、GPT-5.5・Gemini 3.5 Flash・Claude Sonnet 4.6など最新の商用AIモデルも、最も難しい設問(モニカの車種)では軒並み誤答したと報告されています。

実験1:AIが使えるだけで「わからない」が言えなくなる

　論文によれば、最初の実験(参加者314人)では、AIを使えない参加者が回答を保留した割合は36%だったのに対し、AIに助言を求められる参加者が保留した割合はわずか6%にとどまりました。AIの応答が不安定になる可能性を排除するため、あらかじめ生成しておいた誤答をランダムに提示する形で追試験(参加者310人)を行ったところ、AIなしの保留率44%に対し、AIありでは3%まで下がり、同様の傾向が再現されたとのことです。

　これらの実験ではまだ金銭的な負担がなく、誤答してもコストがかかりませんでした。判断保留はAIの有無だけで大きく変化しましたが、実際の損得が絡む場面でも同じ傾向が続くのかどうかは、次の実験で検証されています。

実験2〜3:金銭的インセンティブを加えても保留は戻らない

　正解に報酬を与え誤答に罰則を科し、保留には何も与えないという条件を設けたところ、参加者はAIの助言をあまり求めなくなり、正解率も上がったといいます。論文の詳細データでは、参加者812人を対象にした実験(AIの有無×金銭的インセンティブの有無を組み合わせた設計)で、インセンティブがない場合の保留率はAIなし17%に対しAIあり1%、インセンティブがある場合でもAIなし21%に対しAIあり2%にとどまりました。また、AIを使えた参加者の自信度は、インセンティブなしで29.6点から75.9点へ、ありの場合でも37.7点から73.5点へと、いずれもほぼ倍増したと報告されています。正答率については、インセンティブなしでAIなし27.6%・AIあり10.0%、インセンティブありでAIなし33.4%・AIあり17.3%という結果でした。

　インセンティブをより意識させる形(設問ごとに報酬ルールを再提示)にした続く実験(参加者843人)でも、AIの有無による保留率の差は縮まりませんでした(インセンティブなしでAIなし32%・AIあり2%、ありでAIなし41%・AIあり8%)。一方で、この実験ではAIが使える条件に限り、インセンティブがあると正答率が11%から16%へ有意に改善したことも分かりました。これは、インセンティブによって参加者がAIの助言に頼る頻度そのものを減らしたためだと論文は分析しています(AIが使える条件でのAI相談回数は、インセンティブありで6問中4.53回、なしで5.27回)。

　この点は実務で活用する際にも参考になるのではないかと思います。業務でAIの提案を参照する場合、提案の内容そのものを吟味するだけでなく、「相談できる状態にあること自体」が自分の確認プロセスを緩めていないか、意識的に振り返る余地があると考えられます。

実験4:求めていなくてもAIの助言は判断保留を抑える

　論文では、AIの助言を参加者が自ら求めるのではなく、質問と同時に自動的に表示する条件も検証しています。参加者853人を対象にしたこの実験でも、インセンティブなしでAIなしの保留率35%に対しAIありは1%、インセンティブありでもAIなし39%に対しAIあり7%と、AIの提示方法が能動的か受動的かによらず同様の抑制効果が確認されました。検索エンジンのAI要約や文章作成支援ツールのように、利用者が求めていなくてもAIの提案が表示される場面が増えていることを踏まえると、この結果は実務上の示唆が大きいと考えられます。

「エピステミア」という視点

　論文は、こうした一連の結果を「エピステミア」という概念で説明しています。これは、AIの出力を実際に検証するのではなく、その表面的なもっともらしさや文章としての滑らかさだけで受け入れてしまう傾向を指す言葉です。人間は本来、不確実性を自覚して回答を控えることができますが、AIモデルは常に何らかの答えを出力し、自ら判断を保留することがありません。人がAIに判断を委ねるとき、AIのこうした性質までも引き継いでしまい、文章としての滑らかさが本来必要な検証の代わりになってしまう可能性があると論文は指摘しています。

　論文はまた、インターネット検索によって人が自分の知識を過大評価しやすくなるという既存の研究や、他者の知識を自分の知識と混同する「トランザクティブメモリー」という考え方とも関連づけています。検索エンジンは複数の情報源を提示し、その食い違いが立ち止まるきっかけになり得るのに対し、生成AIは一つの断定的な答えを返すため、立ち止まる機会そのものが失われやすいと考えられます。

子どもの学びへの示唆

　カプラーロ氏は、この問題は職場に限らないとも指摘しています。同氏が懸念しているのは、子どもが誤った情報を受け取ること自体よりも、即座に答えが得られる環境によって「疑問を持つこと」を学習過程として経験する機会が失われることだといいます。「疑問は知識の欠如ではなく、知識が始まる場所であることが多い」と同氏は述べ、根拠や情報の出所を問う姿勢を「認識論的リテラシー」と呼んでいます。

　この視点は、AI活用を検討する方にとっても示唆的ではないかと思います。答えを得ることと、その答えがなぜ正しいと言えるのかを検証する力は別のものであり、AIを使いこなす上でも両方の力が求められるのではないかと考えられます。

研究の限界

　論文自身も、いくつかの限界を挙げています。今回の設問はすべて映画の視覚的な細部という、AIが誤りやすい一種類の題材に限られており、AIの助言がおおむね正しい領域でも同じ現象が起きるかどうかは今後の検証課題だとされています。また、参加者がAIの助言を鵜呑みにせず他の情報源で確認したかどうかまでは測定されていないため、正答率の改善が「AIへの依存低下」によるものか「別の情報源の活用」によるものかは今回のデータだけでは切り分けられないとのことです。