[ニュース解説]OpenAIが「GPT-Red」を開発——AI自身にAIを攻撃させ、プロンプトインジェクション耐性を高める新手法

目次

はじめに

 OpenAIは2026年7月15日、プロンプトインジェクション攻撃を自動発見する専用AIモデル「GPT-Red」を発表しました。本稿では、GPT-5.6 Solの発表に続く安全性強化策として、その仕組みと成果を解説します。

参考記事

関連記事

あわせて読みたい
[ニュース解説]OpenAIの次世代モデル「GPT‑5.6 Sol」——限定プレビューが示すサイバー性能と多層安全対... はじめに  OpenAIが2026年6月26日、次世代モデルシリーズ「GPT‑5.6」の限定プレビューを開始しました。上位モデルのSolを筆頭に、BalancedモデルのTerra、軽量モデルの...
あわせて読みたい
[ニュース解説]OpenAIがDaybreakを拡張——脆弱性発見からパッチ自動化へ、AIサイバー防衛が新段階 はじめに  OpenAIが2026年6月22日、サイバーセキュリティ支援プログラム「Daybreak」の大幅な拡張を発表しました。Codex Securityの更新、GPT‑5.5‑Cyberのフルバージョ...

要点

  • OpenAIは、プロンプトインジェクション攻撃を自動的に発見・生成する専用モデル「GPT-Red」を開発した
  • GPT-Redは自己対戦型の強化学習で訓練され、防御側モデルと攻撃側モデルが同時に鍛えられる仕組みである
  • 未知の環境を対象とした評価では、人間のレッドチームが13%の攻撃成功率だったのに対し、GPT-Redは84%を記録した
  • GPT-Redが生成した攻撃データをGPT-5.6の訓練に組み込んだ結果、直接的なプロンプトインジェクションへの耐性が従来モデル比で6倍向上した
  • 実際の自動販売機エージェントやCodex CLIエージェントに対する実地攻撃検証でも、脆弱性の発見に成功した

詳細解説

プロンプトインジェクションという課題

 AIエージェントは、ブラウザやアプリ、外部ファイルなど第三者由来のデータに触れる機会が増えており、悪意ある第三者がメールやウェブページ、ツールの応答に不正な指示を埋め込むことでモデルの挙動を操作しようとする「プロンプトインジェクション」が課題となっています。OpenAIによれば、こうした脆弱性を事前に発見するための人間によるレッドチーム作業は、時間がかかり規模を拡大しにくいという制約があるといいます。

 レッドチームとは、攻撃者の視点からシステムの弱点を能動的に探る手法を指し、セキュリティ分野で広く使われている考え方です。人手による作業では発見できる攻撃パターンの量や多様性に限界があるため、モデルの訓練に十分なデータを供給することが難しいという背景があります。

GPT-Redの訓練方法と性能

 GPT-Redは自己対戦型の強化学習によって訓練されており、攻撃側のGPT-Redと複数の防御側モデルが同時並行で鍛えられる仕組みです。GPT-Redは攻撃の成功に対して報酬を得る一方、防御側モデルは攻撃への抵抗と本来のタスク完了に対して報酬を得るため、防御側が強くなるほどGPT-Redもより高度な攻撃を発見せざるを得なくなります。

 OpenAIによれば、既存の防御モデル群に対してはGPT-5.5までのモデルをほぼ突破できる強さを持つといいます。さらに、訓練時とは異なる未知の環境での汎化性能を検証したところ、人間のレッドチームの攻撃成功率が13%だったのに対し、GPT-Redは84%の成功率を記録したと報告されています。この差は、探索できる攻撃パターンの網羅性という点で、自動化のメリットが表れた結果と考えられます。

実運用エージェントでの実地検証

 OpenAIは、社内で稼働する自動販売機エージェント(AnthropicのProject Vendに類似した取り組み)を対象に、GPT-Redを使った実地攻撃検証も実施しました。GPT-Redはシミュレーション環境で攻撃を洗練させた後、本番稼働中のエージェントに対して攻撃を仕掛け、商品価格を最低額に書き換える、他の顧客の注文を取り消すなど、想定していた3つの不正操作すべてに成功したといいます。また、Codex CLIエージェントを対象としたデータ持ち出しシナリオの検証でも、比較対象のプロンプトベースモデルより高い成功率かつ高いトークン効率で攻撃を成立させたと報告されています。

 このような実地検証は、ベンチマーク上の数値だけでは見えにくい、実際の運用環境における脆弱性を洗い出す点で意味があると考えられます。

防御モデルへの反映と今後

 OpenAIは、GPT-Redが生成した攻撃データを最新モデル「GPT-5.6 Sol」の訓練に組み込んでおり、その結果、直接的なプロンプトインジェクション攻撃に対して、約4か月前の主力モデル比で6倍の耐性向上を達成したと発表しています。また、GPT-Red自身の攻撃に対しても、GPT-5.6 Solの失敗率はわずか0.05%まで低下したといいます。

 なお、OpenAIは、モデルが単に多くのリクエストを拒否するようになったために安全に見えているわけではないかを確認するため、一般的な性能評価と過剰拒否の評価もあわせて実施し、通常の能力を維持したまま耐性のみが向上していることを確認したと説明しています。この点は、安全性の向上が「できることを減らす」形で達成されていないかを見極めるうえで重要な視点だと思います。GPT-Redは社内限定の運用にとどめ、外部に流出しないよう管理しているとのことで、今後もレッドチーム手法の強化を継続する方針が示されています。

まとめ

 OpenAIは、AIに攻撃役を担わせプロンプトインジェクション耐性を高める「GPT-Red」を発表しました。人手を超える規模と速度で脆弱性を発見できる点が特徴です。セキュリティ分野でのAI活用は広がっており、今後の展開に注目したいところです。

この記事が気に入ったら
フォローしてね!

  • URLをコピーしました!
  • URLをコピーしました!
目次