［エンジニア向け解説］進化するAIのリスクに備える：OpenAI Preparedness Framework改訂版を解説

はじめに

　近年、AI技術、特に大規模言語モデル（LLM）に代表されるフロンティアAI（最先端のAIモデル）は目覚ましい進化を遂げています。その能力向上は、科学技術、医療、教育など様々な分野での貢献が期待される一方で、予期せぬ深刻な危害 (severe harm) を引き起こすリスクも増大させています。OpenAIは、こうしたリスクを管理し、安全なAI開発を推進するための内部プロセスとして「Preparedness Framework」を運用しており、この度その内容を更新しました。

　この更新は、モデルの能力が急速に向上する現状を踏まえ、より実践的かつ具体的なリスク管理体制を構築することを目的としています。本稿では、AIエンジニアの視点から、この更新されたフレームワークの技術的なポイント、特にリスク評価基準、能力カテゴリ、評価手法、そして保護策（Safeguards）の考え方について公式ブログ「Our updated Preparedness Framework」より掘り下げていきます。

引用元:

• 記事タイトル: Our updated Preparedness Framework
• 発行日: 2025年4月15日
• 参照元URL: https://openai.com/index/updating-our-preparedness-framework/

フルページ：https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

要点

　今回のPreparedness Frameworkの更新における主要なポイントは以下の通りです。

• リスク優先順位付け基準の明確化: 深刻な危害につながる可能性のあるフロンティア能力を特定し、優先順位を付けるための5つの基準（plausible, measurable, severe, net new, instantaneous or irremediable）を定義しました。
• 能力カテゴリの再定義: リスク評価に基づき、能力を「Tracked Categories（継続的な監視と対策が必要）」と「Research Categories（将来的なリスクに備え研究開発が必要）」に分類しました。
• 能力レベルの明確化: リスクの深刻度に応じて「High capability」と「Critical capability」の2つの閾値を設定し、それぞれに必要な運用上のコミットメント（保護策の導入・評価）を定めました。
• スケーラブルな評価手法の導入: モデル開発サイクルの高速化に対応するため、自動評価を拡充し、専門家による詳細評価と組み合わせる体制を構築しました。
• Safeguards Reportsの導入: モデルの能力評価（Capabilities Reports）に加え、導入される保護策の設計と有効性を評価・文書化する「Safeguards Reports」を新たに定義しました。
• 外部状況への対応方針: 他の開発者の動向に応じて要件を調整する可能性を示唆しつつも、厳格なリスク評価と安全確保を前提としています。

詳細解説

1. Preparedness Frameworkとは何か？ なぜ更新が必要なのか？

　Preparedness Frameworkは、OpenAIが開発するフロンティアAIモデルが持つ潜在的な能力を評価し、それが深刻な危害を引き起こすリスクを未然に防ぐための体系的なプロセスです。AIモデル、特に自己改善能力や自律性を持つ可能性のあるモデルは、開発者の意図を超えた挙動を示すリスクを内包しています。フレームワークは、こうしたリスクを早期に特定し、適切な保護策 (safeguards) を講じることで、安全な開発とデプロイを実現することを目的としています。

　今回の更新は、モデルの能力が従来よりも速いペースで進化している現状に対応するためです。特定の閾値を超える能力（例えば、特定の生物兵器の設計支援能力や、高度なサイバー攻撃能力）が確認された場合に、どのような手順でリスクを評価し、どのような保護策を講じるべきか、その基準とプロセスをより明確かつ実践的にすることが求められていました。

2. リスク評価の5つの基準

　更新されたフレームワークでは、深刻な危害につながる可能性のあるフロンティア能力を評価し、優先的に対策を講じるべきかどうかを判断するために、以下の5つの基準を設けています。

• Plausible（もっともらしさ）: その能力が深刻な危害を引き起こすシナリオが、理論的に考えられるか。
• Measurable（測定可能性）: その能力レベルを客観的に測定・評価できるか。
• Severe（深刻さ）: 引き起こされる可能性のある危害が、社会的に極めて深刻なレベルか（例：大量死傷、数千億ドル規模の経済損失）。
• Net new（新規性）: その能力によって、既存の手段では不可能だった新しいタイプ、あるいは桁違いに大規模な危害が可能になるか。
• Instantaneous or irremediable（即時性・回復不能性）: 危害が発生した場合、人間が介入して阻止する時間がほとんどない、または発生後の回復が極めて困難か。

　これらの基準を満たす能力は、特に注意深く監視し、事前に対策を講じる必要があると判断されます。AIエンジニアとしては、自身が開発に関わるモデルがこれらの基準に照らしてどのようなリスクを持ちうるかを常に意識する必要があります。

3. 能力カテゴリ：TrackedとResearch

　リスク評価に基づき、フロンティア能力は以下の2つのカテゴリに分類されます。

Tracked Categories:

• すでに評価手法が確立され、継続的な監視と保護策が実施されている分野です。
• 現在の対象は、「生物・化学兵器関連能力」「サイバーセキュリティ関連能力」「AI自己改善能力」です。
• これらの分野は、デュアルユース（有益な目的と有害な目的の両方に利用可能）の側面を持つため、早期からの測定と保護策への投資が重要視されています。例えば、創薬支援に役立つ能力が悪用されれば、新たな毒物の開発につながる可能性があります。AI自己改善能力は、モデル性能を飛躍的に向上させる可能性がある一方、制御不能な進化を引き起こすリスクも指摘されています。

Research Categories:

• 将来的に深刻な危害のリスクをもたらす可能性があるものの、現時点ではTracked Categoriesの基準を満たさない、あるいは評価手法が確立されていない分野です。
• 脅威モデルの構築や評価手法の開発が進められています。
• 現在の対象には、「長期的な自律性」「サンドバッギング（意図的な性能偽装）」「自律的な複製と適応」「保護策の回避」「核・放射線関連能力」などが含まれます。
• これらのカテゴリは、AIがより自律的に、あるいは開発者の意図を欺く形で動作する可能性に関連しており、AIエンジニアにとって特に注目すべき技術的課題を含んでいます。

　なお、「説得・誘導 (Persuasion)」に関するリスクは、個人の意見形成や社会的な意思決定に影響を与える可能性があるものの、その影響は即時的・回復不能とは言い難い側面もあるため、Preparedness Frameworkの枠外（Model Specや利用ポリシー、不正利用監視など）で対応する方針です。

4. 能力レベル：HighとCritical

　Tracked Categoriesに分類された能力について、そのリスクの深刻度を示すレベルが2段階で定義されました。

• High capability:
  • 既存の手段による深刻な危害への経路を増幅させる可能性があるレベル。
  • このレベルに達したモデルは、デプロイ前に、関連するリスクを十分に最小化する保護策が導入され、その有効性が確認される必要があります。
• Critical capability:
  • 深刻な危害への前例のない新たな経路をもたらす可能性があるレベル。
  • このレベルに達したモデルは、開発段階からリスクを十分に最小化する保護策が必要となります。デプロイはもちろん、開発の継続自体にも厳しい目が向けられます。

　これらのレベル判定と保護策の評価は、内部の安全専門家で構成されるSafety Advisory Group (SAG) が行い、最終的な判断はOpenAIのリーダーシップが下します。AIエンジニアは、開発中のモデルがこれらの閾値に近づいていないか、評価結果を注意深く監視する必要があります。

5. スケーラブルな評価と専門家による評価

　モデルの学習や改善は、必ずしも大規模な再トレーニングを伴わず、より短いサイクルで行われるようになっています。この変化に対応するため、評価プロセスもスケールする必要があります。

• 自動評価: 定量的指標に基づき、迅速かつ頻繁に能力レベルをチェックするための自動評価スイートが開発・運用されています。これにより、継続的なモニタリングが可能になります。
• 専門家による詳細評価 (Deep Dives): 自動評価だけでは捉えきれない質的なリスクや、新たな脅威シナリオを評価するため、分野の専門家（生物学、サイバーセキュリティ等）による詳細な調査・分析（レッドチーミングを含む）も引き続き実施されます。

　これら二つの評価手法を組み合わせることで、評価の速度と網羅性のバランスを取っています。

6. Safeguards Reportsと”Defense in Depth”

　従来、モデルが特定の能力閾値を超えたかどうかを評価する「Capabilities Reports」（旧Preparedness Scorecard）が重視されてきました。これに加え、今回新たに「Safeguards Reports」が定義されました。

• Safeguards Reports: 特定されたリスクに対し、どのような保護策が設計・実装され、その有効性がどのように検証されたかを詳細に文書化するものです。
• “Defense in Depth”（多層防御）: 単一の対策に依存せず、複数の異なる保護策（アクセス制御、利用制限、モニタリング、出力フィルタリング、敵対的テスト、異常検知など）を組み合わせることで、システム全体の堅牢性を高めるという原則に基づいています。Safeguards Reportsでは、この原則に沿った対策が講じられているかが評価されます。

　SAGは、Capabilities ReportsとSafeguards Reportsの両方をレビューし、残存リスクを評価した上で、デプロイの可否を含む提言をリーダーシップに行います。AIエンジニアは、モデルの能力だけでなく、実装される保護策の設計と有効性検証にも責任を持つことになります。

7. フロンティア状況の変化への対応

　AI開発競争が激化する中で、他の組織が同等の保護策なしに高リスクなシステムをリリースする可能性も考慮されています。そのような場合、OpenAIは自社の要件を調整する可能性も示唆していますが、以下の点を厳守するとしています。

• リスク状況が実際に変化したことを厳格に確認する。
• 要件調整を行う場合は、その事実を公表する。
• 調整によって深刻な危害の全体的なリスクが著しく増加しないことを評価する。
• 調整後も、なお他者より高いレベルの保護策を維持する。

　これは、安全性を最優先しつつも、現実的な開発環境の変化に対応するための柔軟性を持たせる意図があると考えられます。

まとめ

　今回更新されたOpenAIのPreparedness Frameworkは、フロンティアAIの進化に伴うリスクに対して、より体系的かつ実践的に備えるための重要なステップです。リスク評価基準の明確化、能力カテゴリとレベルの再定義、スケーラブルな評価手法の導入、そして保護策の設計と有効性検証を重視するSafeguards Reportsの導入は、AIの安全な開発とデプロイに向けた具体的な取り組みを示しています。

　AIエンジニアにとって、このフレームワークは、自身が開発する技術の潜在的なリスクを理解し、責任ある開発を進める上での指針となります。特に、AI自己改善、自律性、サンドバッギングといったResearch Categoriesに含まれる技術的課題や、”Defense in Depth”に基づく多層的な保護策の設計・実装は、今後の重要な開発テーマとなるでしょう。

　AIの安全性確保は、特定の企業だけでなく、業界全体、そして社会全体で取り組むべき課題です。Preparedness Frameworkは今後も進化していく「生きた文書」であり、私たちも継続的に学び、適応していく必要があります。