はじめに
IBM Thinkが2026年5月21日に伝えたMicrosoftの研究が、AIエージェント活用を検討する企業にとって注目すべき知見を示しています。19種のLLMを対象に実施した実験で、LLMが文書を繰り返し編集すると内容が着実に劣化することが確認されました。本稿では、研究の概要と、エージェントAI導入を考える上での実践的な示唆を整理します。
参考記事
- タイトル: LLMs corrupt the documents they work on. Does agentic AI make it worse?
- 著者: Dave Bergmann
- 発行元: IBM Think
- 発行日: 2026年5月21日
- URL: https://www.ibm.com/think/news/llms-corrupt-documents-does-agentic-ai-make-worse
関連記事
要点
- Microsoftの研究者が19種のLLMを評価した結果、LLMが文書を繰り返し編集するほど内容が劣化することが確認された
- 2回の編集操作（往復1回）で平均18%の内容が元と一致しなくなり、20回の操作では50%超が劣化した
- Pythonコードは比較的保持されやすい一方、自然言語（文章・レシピなど）は劣化が大きい
- 上位3モデル（Gemini 3.1 Pro、Claude 4.6 Opus、GPT-5.4）でも最終的に平均25%の劣化が生じた
- 基本的なエージェント（ReActエージェント）の利用はトークン消費増により劣化をわずかに悪化させた
- 適切に設計された「良いエージェント」は問題を緩和できるとIBMの専門家は指摘する
詳細解説
実験の設計：「往復編集」で劣化を定量化する
今回の研究でMicrosoftの研究者たちが作成したのは、「DELEGATE-52」というデータセットです。会計台帳から航空安全情報、楽譜、結晶構造まで52の専門領域にわたる多様な文書が含まれており、各文書に対して「前向き」と「後向き」の編集タスクのペアが設計されました。
例として楽譜では、「Gメジャーから完全4度上のCメジャーに移調する」（前向き）と「Cメジャーから完全4度下のGメジャーに戻す」（後向き）が1セットです。理論上、この往復編集を繰り返せば文書は元の状態に戻るはずですが、実際にはそうはなりません。研究者たちはこの往復前後の文書を比較することで劣化率を算出しました。
深刻な劣化率：数値で見るリスク
IBM Thinkが伝えるMicrosoftの実験結果によれば、平均で2回の編集操作（往復1回）後に18%の内容が元と一致しなくなり、6回の操作では約3分の1、20回では50%超が劣化していました。文書を繰り返しLLMに処理させることが、いかにリスクを伴うかがわかります。
劣化の程度は文書の種類によって異なります。Pythonコードのような繰り返しが多く数値・構造的に密な文書は比較的よく保たれる一方、創作文章やレシピのような自然言語が中心の文書では劣化が顕著でした。業務でよく扱われるレポート、議事録、提案書などは後者に近い性質を持つため、実務への影響は大きいと考えられます。
上位3モデル（Gemini 3.1 Pro、Claude 4.6 Opus、GPT-5.4）でさえ、最終的に平均25%の劣化が生じており、「複雑な文書をLLM単独に任せてはいけない」とMicrosoftの論文は結論付けています。
エージェントAIが「解決策」にならない理由
一見、エージェントAI（ツールや指示・ガードレールを備えた自律的なAIシステム）がこの問題を解決できるように思えます。しかし研究者たちが確認したのは、基本的なエージェント（ReActエージェント）の利用が劣化をわずかに 悪化させた という事実でした。
原因として挙げられるのがコンテキスト長の問題です。IBM watsonx OrchestrateのチーフアーキテクトであるMihai Criveti氏は、「Opusのようなモデルがたとえコンテキストウィンドウとして100万トークンをサポートしていても、実際に効果的に使えるのは1万トークン前後というモデルが多い」と説明しています。
DELEGATE-52の各文書は約3,000〜5,000トークンで構成されており、現実のビジネス環境を模倣するために8,000〜12,000トークンの関連資料も追加されています。さらにエージェントツールの使用が加わると、1タスクあたりの入力トークンが2〜5倍に膨れ上がります。これはすでに「信頼できる動作範囲」の限界を超えており、しかもこれらの設定は「エンタープライズの実規模よりも小さい」と論文は強調しています。
なお今回使用されたReActエージェントは2022年に提案された基本的なアーキテクチャであり、論文自身も「最適化された最新のエージェントシステムではない」と明記しています。
「良いエージェント」は設計で作れる
では、エージェントAIは文書編集に使いものにならないのでしょうか。Criveti氏は「悪いエージェントは事態を悪化させるが、良いエージェントは改善できる」と述べており、設計次第で問題を緩和できると考えられます。
具体的な対策として、文書コンテキストをLLMが確実に扱える小さなチャンクに分割して編集させる方法が挙げられます。ただしそれには、文書の前処理パイプライン、チャンクの分割・再結合戦略、適切なファイルアクセス設計、劣化を検知するオブザーバビリティ（可観測性）、テレメトリ（動作記録・遠隔計測）、そして全体を統括するオーケストレーション基盤が必要です。IBMは自社製品のwatsonx Orchestrateがこうした要件に対応するプラットフォームとして設計されていると説明しています。
Cursorが紹介したエージェントハーネスの設計原則でもコンテキスト設計と劣化対策は重要テーマとして取り上げられており、業界全体でこの課題への注目が高まっていることがうかがえます。
まとめ
Microsoftの研究は、LLMに文書の繰り返し編集を任せることのリスクを具体的な数値で示した点で、エージェントAI導入を検討する企業にとって重要な警告です。単純なエージェント実装は問題を解決するどころかわずかに悪化させる可能性があり、適切な設計・監視体制の構築が不可欠だと考えられます。コンテキスト長の制約を意識した丁寧な設計が、信頼性の高いエージェントを構築する鍵になりそうです。
