［ニュース解説］Google DeepMindが「AI Control Roadmap」を発表

2026-06-20

はじめに

　Google DeepMindは2026年6月18日、社内で運用するAIエージェントの安全性を確保するための枠組み「AI Control Roadmap」を公開しました。本稿では、この発表内容をもとに、AIエージェントの「内部脅威」にどう備えるか、その考え方と仕組みについて解説します。

参考記事

タイトル: Securing the future of AI agents
著者: Rohin Shah, Four Flynn
発行元: Google DeepMind公式ブログ(Responsibility & Safety)
発行日: 2026年6月18日
URL: https://deepmind.google/blog/securing-the-future-of-ai-agents/

要点

Google DeepMindは、社内で運用するAIエージェントの安全性を確保するための枠組み「AI Control Roadmap」を発表した
同ロードマップは、モデルのアライメントを主たる防御線としつつ、エージェントを「内部脅威」とみなして監視・制御する多層防御の考え方である
脅威モデリングにMITRE ATT&CKを応用し、検知(Detection)と予防・対応(Prevention and Response)の2軸でモデルの能力に応じた対策レベルを定義している
約100万件のコーディングエージェントのタスクを分析した結果、問題の多くは悪意ではなく誤解や過剰な達成意欲に起因することが分かった
政策立案者向けの技術文書「Three Layers of Agent Security」も同時に公開し、業界・政策立案者・学術界の協調を呼びかけている

詳細解説

AI Controlとは何か——アライメントを前提としない安全設計

　Google DeepMindの発表では、マッキンゼーの試算をもとに、米国だけでもAIエージェントが2030年までに 2.9兆ドル の経済価値を生み出す可能性があるとされています。サイバー防御や科学研究などでエージェントの自律性が高まる一方、それに見合う安全対策が必要だといいます。同社は6月14日にも、マルチエージェントの安全性研究に最大1,000万ドル規模の研究助成を発表したばかりで、安全対策への投資を継続的に強化しています。

　AI Controlは、サンドボックス化やプロンプトインジェクション対策(AIへの不正な指示注入を防ぐ仕組み)を土台に、モデルのアライメント(AIが本質的に安全・有用であるよう訓練すること)を主たる防御線とします。そのうえで、アライメントが不完全な場合に備え、社内のエージェントを「潜在的に不整合かもしれない」存在として扱う追加のセキュリティ層を設けている点が特徴です。Google DeepMindはこれを「二重操作装置を備えた教習車の教官」にたとえ、検証済みの行動実績に応じて段階的に権限を広げる仕組みだと説明しています。

3つの柱——脅威モデリング・検知と対応・性能測定

　ロードマップは「高い能力を持つエージェントが意図と整合せず予期しない行動を取るかもしれない」という前提に立ち、3つの取り組みで構成されています。

　1つ目は脅威モデリングです。信頼できないAIエージェントを、すでに社内アクセス権を持つ 内部脅威(インサイダー脅威) になぞらえ、実際の攻撃観測に基づく業界標準フレームワークである MITRE ATT&CK で攻撃を細かな戦術・技術に分解し、被害発生前の察知や防御策の検証に役立てます。2つ目は検知と対応で、別の信頼できるAIシステムを「監督役」としてエージェントの推論・行動を継続監視し、有害な兆候があれば被害発生前に行動を差し止めます。3つ目は性能の継続測定で、監視対象の割合(カバレッジ)、不整合な挙動を捉えた割合(再現率)、対応までの所要時間という3指標で実効性を評価します。

モデルの能力に応じてセキュリティをスケールさせる

　ロードマップは、モデルの能力向上に合わせて対策を段階的に引き上げる設計で、基準は「検知をすり抜ける能力」と「実害を及ぼす能力」の2軸です。検知回避能力については、現状は可視化された思考過程(Chain-of-Thought)の監視が中心ですが、モデルが監視を意識して振る舞いを変えたり、可視化されたテキストを介さず推論したりすると、発話された推論を読むだけでは不十分になるとGoogle DeepMindは指摘しています。実害を及ぼす能力については、低リスクな行動なら事後確認で足りる一方、大規模サイバー攻撃のような高リスク行動は実行前に差し止める「同期型」対応が必要とされ、検知レベル(D1〜D4)と予防・対応レベル(R1〜R3)が段階的に定義されています。リスクの大きさに応じて監視の強度を変えるこの発想は、一般的なセキュリティ運用とも重なる部分が多いと思います。

約100万件のエージェント軌跡分析から見えたこと

　Google DeepMindのチームは、コーディングエージェントの行動記録を確認し人間のレビューへエスカレーションする非同期型監視システムの社内プロトタイプを構築しています。OpenAIも2026年3月、社内コーディングエージェントの不整合監視システムで5ヶ月間・数千万件規模の分析結果を公開しており、社内エージェントの大規模分析を安全運用に役立てる取り組みは大手AI企業に共通する潮流のようです。

　Google DeepMindはすでに約100万件のタスクを分析し、シグナル性の高い行動パターンを特定できるようになったといいます。この知見はエージェント機能「Gemini Spark」のライブ監視にも活用され、意図しないデータ削除のような問題へのリアルタイム対応につながっています。注目すべき点として、フラグが立てられた事象の大半は悪意ではなく、目標達成をめざす過程での誤解や過剰な達成意欲に起因することが多いとGoogle DeepMindは説明しています。

エコシステム全体での責任分担

　Google DeepMindは、AI Control Roadmapをエージェントセキュリティに対する多層的アプローチの一要素と位置づけ、社内インフラ全体への組み込みを進めています。同社は、こうした取り組みは業界・政策立案者・学術界が協調すべき課題だとも述べ、政策立案者向けの技術文書「Three Layers of Agent Security」も同時に公開しました。同文書では、個々のエージェント、複数エージェントが関わるシステム、サイバー防御者を支援しレジリエンスを高めるエコシステム全体という3階層でセキュリティ改善の必要性が説明されています。