［ニュース解説］OpenAIはAIエージェントの「ずれ」をどう見張るのか？4層の監視体制を解説

2026-10-30

はじめに

　OpenAIは2026年10月29日、最先端モデルの意図しない振る舞い（ミスアライメント）を検知する監視体制を公開しました。学習から外部提供まで広げた4層の仕組みと検知事例、ChatGPTやAPIの利用者に関係する点を解説します。

　ミスアライメントとは、AIの振る舞いが開発者の意図からずれることです。エージェントは学習・評価・運用のどの段階でも、許可されていない行動を取る可能性があります。そこでOpenAIは、エージェントの推論、行動、その行動が環境に与えた影響を監視しています。

　監視は、同社が掲げる多層防御（defense in depth）の一つの層です。

　監視には相当な計算資源が必要ですが、同社は払う価値のあるコストだと述べています。すべてのモデル開発者が最も高性能なモデルを監視する必要がある、との考えも示しました。

　OpenAIは、最も高性能なモデルの特定の外部提供に、社内監視の調整版を適用しています。対象は、サイバーセキュリティ能力が「Critical」水準を超えるモデルです。この水準は、同社のリスク評価の枠組みPreparedness Frameworkに基づきます。

　外部提供にはすでにサイバーセキュリティの安全策があり、深刻な事態はまれだと同社はみています。ただ、Astraや同等の能力を持つモデルは、安全策が破られた際の被害が大きくなりえます。監視は、利用者の環境でのエージェントの振る舞いを知る手段にもなります。

　基本構造は社内と同じですが、主に次の点が異なります。

　APIでは、監視の対象かどうかと、自動で止められるかどうかが別です。止めるには、後のリクエストが同じ会話の続きだと認識できる必要があります。

　API向けとChatGPT向けの詳しい解説も用意されています。ChatGPTには、会話が予防措置として一時停止・終了される理由のヘルプ記事があります。

　該当する環境で使う場合は、次の点を確認しておくと良さそうです。

　会話追跡の具体的な仕組みは発表に含まれていません。実装時はOpenAIの開発者向けドキュメントで最新の仕様を確認してください。

　自社でエージェントを動かす場合も、多層防御の考え方は応用できます。権限を絞る、操作ログを残す、異常時に止める手段を用意する、といった備えを重ねる形です。

　社内の監視範囲は次のとおりです。強化学習は、試行と報酬をもとにモデルが振る舞いを学ぶ手法です。

　監視は、前の段階で広く拾い、後の段階ほど1件に計算資源をかける構造です。

第0層（L0）：活性化プローブ。モデル内部の計算途中の状態から懸念のあるパターンを探す軽量な分類器で、見逃しを減らす方向に調整している。反応しなかった通信からも無作為に5%を次へ送る
第1層（L1）：モデルによるレビュー。直近の会話、思考の連鎖（行動前の推論過程）、ツール利用から、欺瞞や無許可の行動、評価操作の兆候を探す
第2層（L2）：調査エージェント。評価の目的を確認し、記録をさかのぼり、隔離環境でコードを実行して深刻度を判断する
第3層（L3）：機密性の高い処理で、ネットワークログなどのシステム監視データや過去の事例と記録を突き合わせる
人の対応：優先度の高い警告に対応者が当たる

　最先端の強化学習と社内のCodex通信は、第0層を飛ばして第1層から始まります。第1層の確認は各ターンの終わりなどに行い、最大30分間隔への移行中です。第2層は、介入が必要な兆候を探すセキュリティ調査担当と、研究に値する振る舞いを探すアライメント調査担当に分かれます。

　最優先のセキュリティ警告は、通常は最初の警告から15分以内に対応者へ届きます。ただ誤警報が多く、すべての処理で24時間呼び出しを続けるのは難しい状況です。