[ニュース解説]OpenAIが外部評価機関を社内に迎え入れる——Apollo・METRなど4団体による「組み込み型評価」の中身

目次

はじめに

 OpenAIは2026年11月13日、独立した評価機関が社内のモデルやシステムに深くアクセスして安全性を評価する「組み込み型評価(embedded assessments)」の第1フェーズを発表しました。本稿では、参加する4団体の評価内容と、アクセスと機密保持を両立させるプロトコルを解説します。

参考記事

関連記事

あわせて読みたい
[ニュース解説]OpenAIが提案する「Safety Case」——最先端AIの訓練を続ける条件 はじめに  OpenAIは 2026年9月28日 、最先端AIの強化学習を続ける前に、リスクと対策を構造化した「Safety Case」を求める指針を公表しました。本稿では、アラインメン...
あわせて読みたい
[ニュース解説]OpenAIはAIエージェントの「ずれ」をどう見張るのか?4層の監視体制を解説 はじめに  OpenAIは2026年10月29日、最先端モデルの意図しない振る舞い(ミスアライメント)を検知する監視体制を公開しました。学習から外部提供まで広げた4層の仕組...
あわせて読みたい
[ニュース解説]OpenAIのエージェントがHugging Faceに侵入——訓練から生まれた「協調」がもたらしたイ... はじめに  OpenAIは2026年8月26日、2026年7月に発生した内部セキュリティインシデントの詳細を公表しました。サイバーセキュリティ評価中に自社モデルが隔離制御を回避...

要点

  • OpenAIはApollo Research、METR、Transluce、Goodfireの4団体と、組み込み型評価の第1フェーズに関する契約を締結した
  • 評価者はモデルのチェックポイント、ソースコード、訓練・評価データ、監視システム、担当研究者との対話など、社内研究者と同等の資源にアクセスできる
  • 初期の評価は、訓練中および社内利用時のモデルのアライメントとセーフガードに焦点を当てている
  • 安全・セキュリティ委員会による監督、従業員との対話の扱い、利益相反、公開と責任ある開示期間などのプロトコルが公開された

詳細解説

組み込み型評価とは何か

 組み込み型評価とは、独立した専門家にAI開発企業の社内モデルやシステムへの深いアクセスを与え、モデルのアライメント(開発者の意図に沿って振る舞うこと)とセーフガードの有効性を、長期間にわたって評価する仕組みです。OpenAIによれば、評価者は各評価の必要に応じて、社内の研究者が使うのと同じ資源の一部にアクセスできます。具体的には次のとおりです。

  • モデルのチェックポイント(訓練途中のモデルの保存状態)
  • ソースコード
  • 訓練データと評価データ
  • 監視システム
  • 技術文書
  • 担当する研究者・エンジニアとの対話

 OpenAIは、このアクセスによって評価者が独立した評価を進めるための証拠と文脈を得られ、自社が想定していなかった失敗を発見できるとしています。また、AIの能力が急速に進歩しリスクが高まるなかで、独立評価の公開報告は、各社がリスクをどう評価・管理しているかを人々がより明確に把握する助けになると述べています。

 従来の第三者評価の多くは、公開前のモデルにAPI経由でアクセスして能力やリスクを測る形式でした。本稿としては、今回の取り組みが「完成したモデルを外から試す」段階から「訓練の過程そのものを内側から検証する」段階へ踏み込んだ点に意味があると受け止めています。

位置づけ: Safety Caseと過去の外部評価の延長線上

 初期の評価は、訓練中および社内利用時のモデルのアライメントとセーフガードに焦点を当てており、OpenAIのSafety Case(安全性を主張するための論拠と証拠の体系)を補完するものと位置づけられています。この最先端AIの訓練を続ける条件としてのSafety Caseについては、2026年9月にOpenAIが提案を公表していました。

 今回の取り組みは、OpenAIが以前に示した第三者評価の優先事項と原則、そして長年にわたる外部評価機関との協力の上に成り立つとされています。具体例として記事は、深い社内アクセスを伴う社内監視システムのパイロット評価と、Hugging Faceインシデントの調査を挙げています。さらに、こうした取り組みは、OpenAIが安全管理策の独立評価に同意した「White House Accord on Super Intelligence」のもとでのコミットメントを支えるものでもあると説明されています。

 OpenAIは、得られた知見を今後数か月で独立専門家との協力を深めるために活用するとし、こうした協力が業界全体の独立評価と透明性の共通基準づくりにも貢献しうると述べています。

4つの評価機関と評価内容

 第1フェーズに参加する4団体と、それぞれの評価内容は次のとおりです。

Apollo Research

 モデルが開発者の意図に密かに反する行動(サブバージョン)をとりうるか、そしてOpenAIのセーフガードがそうした行動を検出できるかを評価します。訓練、安全性テスト、社内利用からの証拠をもとに、次の4つの主張を2段階で検証します。

  1. 訓練がサブバージョンを誘発していない
  2. 強力な評価とレッドチーミングによってもサブバージョンは引き出されない
  3. 社内利用中にモデルがサブバージョンを試みていない
  4. サブバージョンの背後にある推論は検出可能である

 第1段階では、選定された公開済み・未公開のモデルと訓練チェックポイント、関連する訓練データと評価結果、訓練への介入記録、監視システムとそこで検出された行動、文脈を説明できる研究者へのアクセスが、独立テストに必要なツールや計算資源とともに提供されます。

Goodfire

 解釈可能性(モデル内部で何が起きているかを理解する研究分野)の研究者を常駐させ、Goodfireのプラットフォームを使ってモデル内部を分析します。主な目的は訓練実行のモニタリング、デバッグ、アライメントです。評価結果の主な読み手はOpenAI社内の研究者で、安全性の改善に活用されます。Goodfireは協力の進展に応じて知見を公開するとしています。

METR

 モデルのアライメントと監視に焦点を当てた2つの評価を予定しています。

  • アライメント評価: 第1フェーズでは、OpenAIにとって過去最大規模の強化学習(RL)の訓練実行における、アライメントから外れた行動を評価する。既存のテストや監視が見逃した失敗も対象に含まれる。合意したアクセス・資源・安全上の取り決めの範囲内で、METRは評価の優先順位を独自に設定し、探索・分析・誘発実験を繰り返す。関連するチェックポイントのサンプリング、訓練と評価のロールアウト、ミスアライメント監視記録へのアクセスが含まれる
  • モニター評価: OpenAIは最近METRと監視システムのストレステストを実施しており、より広範な2回目のモニター評価を行うことで暫定的に合意している。ただし評価範囲については相互合意を待っている段階である

 注記によれば、このアライメント評価の範囲は、METRが自ら提案していた広範なミスアライメント調査よりも限定的だとされています。また、先行して行われた監視システムのレッドチーミングは3週間にわたり、コードベース、監視システム、関連する軌跡データ、研究スタッフとの対話へのアクセスが与えられたと説明されています。

Transluce

 OpenAIの事後学習(post-training)段階のアライメント評価について、その品質と網羅性を検証する初期評価を行います。選定された公開済み・未公開のモデル、事後学習のアライメント評価と関連結果、モデルの挙動データとSafety Caseの文書、文脈を説明できる研究者へのアクセスが提供されます。OpenAIとTransluceは、2027年初頭に約8週間の追加評価を行う意向も共有しており、そこでは追加モデルへのより広いアクセス、アライメント評価へのより深いアクセス、評価結果がモデルの公開判断にどう反映されるかに関する情報が含まれる予定です。

 4団体の役割を並べると、Apollo Researchは「隠れた反抗」の有無、Goodfireはモデル内部の仕組み、METRは大規模訓練と監視の実効性、Transluceは評価手法そのものの質と、それぞれ異なる層を担当していると読めます。本稿としては、同じリスクを一方向からではなく複数の角度から確かめる構成になっている点が特徴だと考えています。

組み込み型評価のプロトコル

 OpenAIは、深いアクセスとセキュリティ、機密保持、監督、評価の独立性・完全性を両立させるためのプロトコルを、評価者の意見を取り入れて策定しました。組み込み型評価の規範はまだ標準化されていないため、その議論を進める目的で公開するとしています。特に初期段階では、技術的なアクセスの課題、スペースの制約、セキュリティプロトコルの変化などの想定外の問題が起きると見込んでおり、評価者と協力して解決し教訓を共有したいと述べています。プロトコルの内容は次のとおりです。

  • 範囲設定と反復: 各取り組みは、合意した評価範囲と、厳密な評価に必要なアクセス・資源・安全上の取り決めから始まる。特定の安全性の主張を検証する評価もあれば、定められたシステムや訓練実行の範囲内で想定外の失敗モードを探す評価もある。いずれの場合も、評価者は証拠を追い、手法を改善し、必要に応じて追加評価を提案できる。モデルの重みやアーキテクチャなど最も機密性の高い知的財産に直接アクセスさせる必要がある場合は、評価者とOpenAIの研究者を組ませて分析を行うなどの代替策を検討する
  • 安全なオンサイト環境: 機密情報へのアクセスが必要な評価者は、OpenAIのオフィスで作業し、OpenAIの端末を使う。主な目的は情報のセキュリティ保護で、専任スタッフの支援を受けられる利点もある。評価者には、実験や評価の実施にあたって少なくともOpenAI従業員と同等のセキュリティ基準を守ることが求められる(実験条件によってはより厳しい基準が適用される)
  • 監督と紛争解決: OpenAI財団の取締役会の独立監督委員会である安全・セキュリティ委員会(SSC)が、評価の前・中・後を通じて状況を把握し、監督責任を果たす。SSCは黒塗りのない報告書を受け取り、評価者とSSCは評価中に非公開を含めて直接話すことができる。OpenAIと評価者の意見が対立した場合はSafety Advisory Groupと経営陣にエスカレーションされ、定められた期間内に解決を図る。SSCにはエスカレーション時点で速やかに通知され、解決しなければSSCが判断を下す
  • 従業員との対話と証明: OpenAIは評価者と話せるスタッフを指定し、評価者は必要に応じて追加のスタッフとの対話を求められる。率直な会話を促し従業員のプライバシーを守るため、対話はオフレコとされ、評価に役立てることはできても公開や個人への帰属はできない。別途、評価者は対話で得た内容について、OpenAIが検証・訂正・明確化した「証明済みの声明」を求めることができる。評価者は証明された声明を公開できるほか、OpenAIが証明を拒否したことも開示できる
  • 利益相反の開示とクールオフ期間: 個人的関係や金銭的利益などを含む利益相反の管理は、評価の完全性と独立性にとって重要とされる。注記によれば、Apollo ResearchとGoodfireは報酬を受け取るが、その額は評価結果に左右されない。METRとTransluceは報酬を受け取らないが、評価に使うAPIクレジットや計算資源は受け取る場合がある。また、参加した評価機関のスタッフには、別のAI開発企業に常駐する前に短いクールオフ期間を設けるよう求め、機密情報の意図しない漏えいリスクを下げる
  • 公開と責任ある開示期間: 評価者は評価結果を独立して公開できるが、OpenAIは機密情報を黒塗りにする権利を持つ。セキュリティや安全上のリスクにつながる発見については、対応の時間を確保するため公開の延期を求める場合がある。公開報告は人々が発見とその限界を理解する助けとなり、より詳細な非公開報告は監督機関が行動するための証拠になるとしている

 これらのプロトコルは、本稿としては「アクセスの深さ」と「評価の独立性」がトレードオフになりやすい組み込み型評価において、そのバランスをどこで取ったかを示した設計図だと読んでいます。特に、従業員との対話をオフレコにしつつ「証明済みの声明」という公開経路を別に用意した点や、OpenAIが証明を拒否した事実そのものを開示できるとした点は、独立性を担保する工夫と言えます。一方で、黒塗りや公開延期の権利がOpenAI側にあることをどう評価するかは、今後実際に公開される報告書の内容を見て判断が分かれるところだと思います。

今後の展開

 OpenAIは、今回の評価が継続中のアライメントと安全性の取り組みに独立した視点をもたらし、その公開報告によって取り組みの透明性が高まるとしています。第1フェーズは、最も重要な安全性の主張やSafety Caseについて第三者の安全性シグナルと改善提案を継続的に提供する、より長期的で一貫した組み込み型の協力へとつながっていく見込みだと述べています。

 また、複数の独立した第三者と協力し、多様な専門性とアプローチを持つ健全な評価エコシステムを築く方針も示されています。機密性の高いシステムを対象とした継続的なオンサイト作業が必要な調査もあれば、公開済みまたは公開予定のモデルの評価や公開文書のレビューが中心となる調査もあるという整理です。今後数か月で、より幅広い安全性の課題について外部評価を支援するほか、安全性フレームワークの遵守状況や、組織文化・プロセスを対象とした組み込み型評価も検討しているとしています。

まとめ

 OpenAIは4つの独立機関を社内に迎え、訓練段階からアライメントとセーフガードを検証する組み込み型評価を始めました。今後は各機関の公開報告が焦点です。OpenAI自身の監視体制は、4層の監視体制の解説もあわせてご覧ください。

この記事が気に入ったら
フォローしてね!

  • URLをコピーしました!
  • URLをコピーしました!
目次