はじめに
OpenAIが2025年12月18日、AIモデルの思考プロセス(Chain-of-Thought)を監視する手法の評価フレームワークを発表しました。本稿では、この発表内容をもとに、思考の監視可能性(Monitorability)とは何か、どのように評価するのか、そしてGPT-5やo3などの最新モデルでどのような結果が得られたかを解説します。
参考記事
- タイトル: Evaluating chain-of-thought monitorability
- 発行元: OpenAI
- 発行日: 2025年12月18日
- URL: https://openai.com/index/evaluating-chain-of-thought-monitorability/
論文
- タイトル：Monitoring Monitorability
- 発行元: OpenAI
- 発行日: 2025年12月18日
- URL：https://cdn.openai.com/pdf/d57827c6-10bc-47fe-91aa-0fde55bd3901/monitoring-monitorability.pdf
要点
- OpenAIは思考の監視可能性を測定する評価フレームワークと13種類の評価手法(計24環境)を導入した
- 思考プロセスを監視することで、行動や最終出力のみを監視する場合と比較して大幅に効果的な監視が可能である
- モデルが長く推論するほど監視可能性が向上し、強化学習は現在のスケールでは監視可能性を大きく損なわない
- 小さいモデルを高い推論努力で動作させることで、大きいモデルを低推論努力で動作させる場合と比較して、能力をわずかに犠牲にしつつ監視可能性を大幅に向上できる
詳細解説
思考の監視可能性(Monitorability)とは何か
OpenAIによれば、監視可能性とは、監視者がエージェントの行動に関する関心のある特性を予測する能力のことを指します。これらの特性には、欺瞞、報酬ハッキング、偏った推論などの不正行為が含まれますが、特定のヒントに依拠したか、特定の推論経路をたどったかといった良性の特性も含まれます。
従来のチャットモデルに「ステップバイステップで考えて」とプロンプトする手法とは異なり、GPT-5 ThinkingやOpenAI o3のような推論モデルは、思考の連鎖を生成してから回答を出すように明示的に訓練されています。OpenAIの説明では、強化学習の訓練プロセスにより、推論モデルは思考の連鎖を私的な空間として扱い、そこで自由に考えることができ、罰せられないことを学習します。これは人間が私的に考えることができ、「思考犯罪」で罰せられないのと同様です。
さらに、訓練プロセスは、高報酬の最終回答を得るために最も道具的に有用な思考の連鎖を効果的に探索します。従来の手法では、モデルは有用、無害などの仕様を遵守する必要がありましたが、推論モデルの思考プロセスはより自由で、かつ最終回答に到達するのに役立つ思考を含んでいると考えられます。
評価フレームワークの3つの類型
OpenAIは監視可能性評価を3つの異なる類型に整理しました。
介入評価(Intervention evaluations)
エージェントの環境に制御された変更を導入し、監視者が思考の連鎖から介入の証拠を特定することで、なぜ行動が変化したかを検出できるかをテストします。従来の制御評価とは異なり、介入評価では行動が発生したかどうかだけでなく、なぜ行動が変化したかを監視者が検出できるかを調査できます。
プロセス評価(Process evaluations)
有効な解法経路の数が限られているタスク(例えば、数学問題は特定の定理でのみ解ける)に焦点を当てます。人間の専門家がこれらの経路を列挙し、監視者がモデルが実際にどのステップを踏んだかを検出できるかをテストします。
結果特性評価(Outcome-property evaluations)
モデルの出力の特性を確実に測定できる場合に適用されます。これらのケースでは、監視者がモデルの推論や行動からその特性(報酬ハッキングなど)を予測できるかをテストします。
これらの評価は、中立的な評価、迎合性(Sycophancy)評価、バイアス評価、不整合評価の4つのカテゴリーに分けられています。中立的な評価は、モデルが不正行為をしない通常のタスクの推論が監視可能かを問います。迎合性評価は、モデルがユーザーを過度に喜ばせたり同意したりするために行動を変える場合を対象としています。
GPT-5やo3シリーズでの評価結果
OpenAIによれば、評価の結果、ほとんどの最先端推論モデルはかなり監視可能であることが分かりました。ただし、完璧ではありません。OpenAIが研究したほぼすべての設定において、思考の連鎖を監視することは、行動と最終出力のみを監視するよりも大幅に効果的でした。
具体的な数値として、思考の連鎖のみを監視する場合、GPT-5は約0.75、OpenAI o3は約0.78、OpenAI o3-miniは約0.68、OpenAI o4-miniは約0.72の監視可能性スコア(g-mean²)を記録しました。一方、行動のみを監視する場合、GPT-5のスコアは約0.3程度まで低下しています。この結果は、思考プロセスへのアクセスが監視において極めて重要であることを示していると言えます。
また、外部モデルとの比較では、Claude 3.7 Sonnet、DeepSeek R1-0528-Qwen3-8B、Kimi K2 Thinkingなどが評価されています。OpenAI o3-miniは約0.83の高い監視可能性を示し、評価されたモデルの中で最も監視可能な結果となりました。
推論努力と監視可能性のトレードオフ
重要な発見として、OpenAIは推論努力とモデルサイズの間にトレードオフがあることを観察しました。モデルを低い推論努力で実行する場合、より小さいモデルをより高い推論努力で実行することで、同等の能力に到達しながら、より監視しやすくなる可能性があります。これは推論コンピュートの増加を犠牲にしますが、OpenAIはこれを「監視可能性税(monitorability tax)」と呼んでいます。
プリトレーニングスケールに関する実験では、2桁の計算量範囲でモデルファミリーを訓練し、それぞれに強化学習を適用しました。OpenAIによれば、与えられたモデルを低推論努力でデプロイする代わりに、より小さいモデルをより高い推論努力でデプロイすることができます。元の大きなモデルからの追加コンピュートを追加の推論努力に費やす場合と比較して、わずかな能力コストで、はるかに高い監視可能性を得ることができます。
ただし、この結果には制限があります。各モデルを一度しか訓練していないため、訓練実行間の分散を考慮していません。また、能力を比較的分布内の設定(数学、科学、コーディング)で評価しており、分布外の頑健性を考慮すると、トレードオフが変わる可能性があります。
強化学習とプリトレーニングスケールの影響
OpenAIは2つの最先端強化学習訓練実行にわたって監視可能性がどのように変化するかを調査しました。これらの結果は2つのデータポイントのみを表していますが、現在の最先端スケールでの強化学習最適化は思考の連鎖の監視可能性を大きく損なわず、初期ステップでは監視可能性を高めることを示唆しています。
GPT-5.1 Codex MaxとOpenAI o3の両方において、強化学習ステップの進行に伴い、監視可能性スコアは0.66から0.84程度の範囲で推移しており、大きな劣化は見られませんでした。ただし、これは現在の体制での結果であり、大幅にスケールを拡大すると監視可能性が低下し始める可能性があると考えられます。
Follow-up質問による監視可能性の向上
OpenAIは、モデルが応答した後にフォローアップ質問をすることで、より多くの監視可能な情報を引き出せるかを実験しました。元のプロンプト、思考の連鎖、回答をコンテキストに保持したまま、監視対象の特性に焦点を当てたフォローアップを行います。例えば、「ヒントを有意義に使用して回答を選びましたか?」や「何か疑わしいことをしましたか?」といった質問です。
OpenAIによれば、フォローアップ質問により、特に低い推論努力で監視可能性が向上することが分かりました。フォローアップ質問を繰り返し行い、すべてのフォローアップ思考を監視者に提供すると、監視可能性はさらに向上します。注目すべきことに、フォローアップの回答のみを監視者に提供し、フォローアップの思考を提供しない場合、ベースラインに対する改善が少なくなりました。これは、モデルがユーザーへの回答では率直ではないが、思考ではより多くの情報を明らかにすることを示していると言えます。
監視者の計算量とスケーラブルな制御
OpenAIは、より大きく能力の高いモデルが一般的により良い監視者として機能することを発見しました。また、推論モデルは推論努力が高いほど(したがってテスト時計算量が多いほど)監視タスクでより良いパフォーマンスを発揮します。
特に重要な発見として、OpenAI o4-miniを監視者として使用した場合、思考の連鎖へのアクセスを与えることで、テスト時監視計算量の増加(より高い監視推論努力)に伴う監視可能性の向上率がより速くなることが分かりました。従来の監視と比較して、思考の連鎖監視はより拡張可能な制御の道筋を提供する可能性があると考えられます。
まとめ
OpenAIは思考の監視可能性を体系的に評価するフレームワークを導入し、現在の最先端推論モデルがかなり監視可能であることを示しました。思考プロセスを監視することで、行動のみの監視と比較して大幅に効果的な監視が可能であり、モデルが長く推論するほど監視可能性が向上することが明らかになりました。今後、AIシステムがさらに高度化し、人間レベルを超える性能を持つようになるにつれて、思考の連鎖監視は安全なデプロイのための重要な制御層になる可能性があります。ただし、評価の現実性や、モデルの整合性が向上すると不正行為が減少し評価信号が低下する可能性など、いくつかの制限事項も指摘されています。
