はじめに
本稿では、米国の非営利報道機関であるProPublicaが報じた「DOGE Developed Error-Prone AI Tool to “Munch” Veterans Affairs Contracts」という記事をもとに、行政におけるAI活用の課題と注意点について解説します。
引用元記事
- タイトル： DOGE Developed Error-Prone AI Tool to “Munch” Veterans Affairs Contracts
- 著者： Brandon Roberts, Vernal Coleman and Eric Umansky
- 発行元： ProPublica
- 発行日： 2025年6月6日
- URL： https://www.propublica.org/article/trump-doge-veterans-affairs-ai-contracts-health-care
要点
- 行政効率化省（DOGE）の担当者は、医療や政府契約に関する専門知識がないまま、退役軍人省（VA）の契約を削減するためのAIツールを開発した。
- このツールは「MUNCHABLE（削減可能）」というラベルを契約に付けるものであったが、旧式で安価なAIモデルを使用していたため、契約金額を誤って読み取るなど、重大なエラーが多発した。
- AIは契約書の最初の数ページ（約2500語）の情報のみを基に判断を下しており、VAの運営に関する文脈や連邦法で定められた要件などを一切考慮していなかった。
- 結果として、がん治療研究用の遺伝子解析装置の維持契約や、看護ケアの質を測定・改善するためのツール提供契約など、退役軍人へのケアに不可欠な契約も削減対象としてリストアップされた。
- 専門家は、このような複雑な判断にAI、特に大規模言語モデル（LLM）を用いることの危険性を指摘しており、「AIはこの作業には全く不適切なツールだ」と断じている。
- 開発者はコードの欠陥を認めつつも、最終的な判断は人間が行っていると主張したが、現場では判断の根拠が不透明なまま契約打ち切りが進められるケースがあった。
詳細解説
専門知識なき開発と旧式AIが招いた混乱
問題の中心にあるのは、行政効率化省（DOGE）の要請で、ソフトウェアエンジニアのサヒル・ラヴィンジア氏が開発したAIツールです。彼にはソフトウェア開発の経験は豊富でしたが、医療や政府調達に関する専門知識は全くありませんでした。トランプ政権が掲げた「30日以内の契約見直し」という極めて短い期間の中で、彼はAIの助けを借りて、わずか2日目でこの「契約削減（munching）」ツールの初版を完成させました。
しかし、このスピード開発には大きな落とし穴がありました。使用されたのは、VAが利用可能としていた旧式のOpenAIモデルでした。AIの専門家によれば、これらのモデルは複雑なタスクを解決する能力が低く、信頼性に欠けるものでした。その結果、AIは契約内容を正確に理解できず、「幻覚（ハルシネーション）」と呼ばれる、もっともらしい嘘の情報を生成する現象を引き起こしました。例えば、本来は35,000ドル程度の契約を、3400万ドルと誤認するケースが1,000件以上も発生したのです。
判断基準の致命的な欠陥
このツールの技術的な問題点は、使用したAIモデルの古さだけではありません。AIに与えられた指示（プロンプト）そのものに、致命的な欠陥がありました。
ラヴィンジア氏が作成したプログラムは、各契約書の最初の約2500語、つまり数ページ分の要約情報のみを読み込んで判断を下すように設計されていました。しかし、契約書の冒頭部分だけでは、その契約が持つ真の重要性や、VA全体の運営の中でどのような役割を果たしているかを理解することは不可能です。
さらに、プロンプトには「直接的な患者ケア」に関わる契約は削減しないという基準が設けられていました。しかし、その定義はあまりにも単純でした。
- レベル0： ベッドサイドの看護師など、直接的な患者ケア → 削減不可
- レベル1： 内部で代替できない必要なコンサルタント → 削減不可
- レベル2以上： 退役軍人ケアから複数の階層を隔てているもの → 削減可能（MUNCHABLE）
- DEI（多様性、公平性、包括性）関連の契約 → 削減可能
- VA職員で容易に代替できるサービス → 削減可能
専門家が指摘するように、この基準は、病院で医師や看護師が質の高いケアを提供するために、その裏でどれだけ多くの支援業務（研究支援、機材メンテナンス、システム管理など）が必要かを全く理解していません。その結果、がん治療の研究開発に使われる遺伝子解析装置の保守契約や、血液サンプルの分析委託といった、間接的ではあっても患者ケアの根幹を支える重要な契約まで「削減可能」と判断されてしまいました。
「人間によるレビュー」の実態と透明性の問題
開発者のラヴィンジア氏は、「自分のコードを実行して、その通りに行動することを推奨する人はいない」「最終的には人間がレビューしている」と主張しています。確かに、AIがリストアップしたものがそのまま全て承認されたわけではないかもしれません。
しかし、記事によれば、VAの現場職員は、DOGEから契約を維持すべき理由を説明するよう求められた際、わずか数時間、しかも255文字以内という極めて短い制限の中で回答しなければならない状況もあったと証言しています。これでは、十分な検討に基づいた「人間によるレビュー」が行われていたとは言えません。判断プロセスはブラックボックス化し、誰が最終的な決定を下したのかさえ不明確なまま、契約が打ち切られていきました。
皮肉なことに、ラヴィンジア氏は透明性を高める目的で、このツールのコードをGitHubで公開しました。しかし、それは結果として、VAの契約業者が「どうすれば自分たちの契約が切られないか」を探るために使われることにもなりました。
まとめ
本稿で解説した米国退役軍人省の事例は、行政サービスにAIを導入する際の重要な教訓をいくつも示しています。
第一に、専門知識を持たない担当者が、複雑で機微な判断を要する領域のAIツールを開発することの危険性です。AIは万能の魔法の杖ではなく、その性能は使用するモデルや与える指示の質に大きく左右されます。特に、人々の健康や生活に直結する分野では、ドメイン知識を持つ専門家による慎重な設計と監督が不可欠です。
第二に、AIの判断基準の透明性と妥当性の確保です。今回のツールは、契約書のごく一部の情報と、現場の実態を無視した単純な基準に基づいていました。なぜその契約が「削減可能」と判断されたのか、その根拠が不明確なままでは、適切な見直しはできません。AIを使う場合でも、その判断プロセスを人間が理解し、検証できる仕組みが求められます。
最後に、「効率化」や「コスト削減」という目的が、本来守るべき価値を損なってはならないということです。AIはたしかに業務を効率化する強力なツールとなり得ますが、その適用範囲を誤れば、誤って価値あるものを切り捨ててしまうリスクを孕んでいます。
日本でも行政のデジタル化、AI活用が推進されています。その際に、効率化の掛け声のもとで安易なAI導入に走るのではなく、その特性と限界を深く理解し、人間の専門家による適切なガバナンスを効かせながら、慎重に活用を進めていく必要があることを、この記事は強く示唆しています。
