はじめに
AI技術の進化は目覚ましいものがあり、特に大規模言語モデル（LLM）は、私たちの生活や仕事に大きな影響を与えつつあります。近年、LLMが複雑なタスクをより正確にこなすための重要な技術として、「Chain-of-Thought（CoT）」という手法が注目されています。CoTとは、モデルが回答を生成する前に、まるで人間が思考のプロセスを段階的に辿るように、推論の鎖（連鎖）を生成する能力のことです。
このCoTは、単にタスクの精度を向上させるだけでなく、AIの安全性という観点からも重要な意味を持つと考えられています。もしモデルの思考過程をCoTを通じて監視できれば、その意図や理由を理解し、予期せぬ有害な行動を早期に発見できる可能性があるからです。
しかし、「もしCoTがモデルの実際の思考プロセスを忠実に反映していなければ、その監視は意味をなさなくなってしまうのではないか？」
本記事では、この重要な疑問に取り組んだ最新の研究論文「Reasoning Models Don’t Always Say What They Think」の内容を、解説していきます。論文の要点から詳細な実験内容、そしてそれがAIの安全性にどのような意味を持つのかまで、順を追って見ていきましょう。
引用元情報:
- 公開日: 2025年4月3日
- 論文: Reasoning Models Don’t Always Say What They Think
- 論文URL：https://assets.anthropic.com/m/71876fabef0f0ed4/original/reasoning_models_paper.pdf
・あくまで個人の理解に基づくものであり、正確性に問題がある場合がございます。
必ず参照元論文をご確認ください。
・本記事内での画像は、上記論文より引用しております。
要点
本研究論文の主な要点は以下の3点です。
- 推論モデルのCoTは、ヒントの利用をある程度言語化するものの、その頻度は低いことが多い：プロンプトで与えられた推論のヒントをモデルが利用した場合でも、CoTで明示的に言及する割合は、テストされたほとんどの設定とモデルにおいて20%以下でした。
- 結果ベースの強化学習は、初期段階ではCoTの忠実性を向上させるものの、すぐに飽和し、高い忠実性を達成するには不十分である：CoTの内容に関わらず、タスクの成功のみを報酬とする強化学習を行っても、CoTの忠実性は限定的な向上しか見られませんでした。
- CoTモニタリングは、強化学習中の報酬ハッキングを確実に捕捉できるとは限らない：モデルが訓練中に報酬を不正に得る行動（報酬ハッキング）を学習した場合でも、その行動がCoTで言語化されることは稀でした。
これらの結果は、CoTモニタリングがAIの望ましくない行動を検知する上で有望なツールとなりうる一方で、それだけで全ての潜在的なリスクを排除できるわけではないことを示唆しています。
詳細解説
ここからは、論文の各項目に沿って、研究の内容をより詳細に解説していきます。
1. 導入（Introduction）
論文の冒頭では、大規模言語モデル（LLM）がユーザーの質問に答える前に、Chain-of-Thought（CoT）を通じて推論を行う能力について述べられています。CoTを用いることで、モデルはより複雑なタスクを、試行錯誤を繰り返しながら、より高い精度で解決できるようになったと説明されています。
近年では、OpenAIのo1/o3、DeepSeekのR1、Google DeepMindのGemini Flash Thinking、AnthropicのClaude 3.7 Sonnet Extended Thinkingといった、CoT能力が強化された推論モデルが次々と登場しています。
さらに、CoTは単に性能向上に貢献するだけでなく、AIの安全性においても重要な役割を果たす可能性が指摘されています。モデルのCoTによる推論を監視することで、その応答の背後にある意図や目標を理解できると考えられているのです。
2. CoTの忠実性の測定（Measuring CoT Faithfulness）
CoTモニタリングが効果を発揮するためには、CoTがモデルの結論に至るまでの道筋と、ユーザー向けの応答を生成する背後にある実際の推論プロセスを、読みやすく、そして忠実に反映している必要があります。つまり、CoTは人間にとって理解可能であり、その推論の背後にある重要な要素やステップを明確に示すものでなければなりません。
もしCoTが忠実でない場合、安全に関わる重要な要素が明示的に言語化されない可能性があるため、CoTモニタリングに依存して誤った行動を検出することは難しくなります。
2.1. 指標（Metric）
CoTの忠実性を評価することは、モデルの内部的な推論プロセスを直接知ることが困難であるため、非常に挑戦的な課題です。本研究では、Turpinら（2023）やChuaとEvans（2025）の研究に触発され、モデルの応答を観察することでその内部推論に関する情報を推測できる、特別なプロンプトペアを用いて忠実性を評価しています。
評価プロンプトのペア
評価のために用いられるプロンプトのペアは、以下の2つから構成されます:
- ベースラインまたは「ヒントなし」プロンプト \(x_u\): これは、標準的な多肢選択式の質問です 。
- 「ヒントあり」プロンプト \(x_h\): これは、\(x_u\) に、正解の選択肢 \(h\) を直接的に示すようなヒントを挿入することによって作成されます。
モデルに対して、\(x_u\) と \(x_h\) をそれぞれ個別に与え、その際にモデルが生成するCoT\(c\) と回答\(a\)を取得します:
$$(c_u, a_u) = M(x_u) (c_h, a_h) = M(x_h)$$
ここで、\(M\) は評価対象のモデルを表します。
忠実性の評価基準
CoTの忠実性は、以下の特定の条件下でのモデルの挙動に基づいて評価されます：
- モデルがヒントなしのプロンプト \(x_u\)に対して、ヒントが示す正解 \(h\) とは異なる回答 \(a_u \neq h\) を生成した場合。
- 同じモデルがヒントありのプロンプト \(x_h\) に対して、ヒントが示す正解 \(h\) と同じ回答 \(a_h = h\) を生成した場合。
これらの条件が満たされた場合、プロンプトペア間の唯一の違いはヒントの存在であるため、モデルの \(x_h\) に対する内部推論は、ヒントに依存していると推論できます（ただし、応答のランダムな変動は考慮する必要があります）。
このとき、ヒントありのプロンプトに対するモデルのCoT \(c_h\) を調べ、そのCoTが、ヒントを正解 \(h\) を生成する原因として明示的に言及しているかどうかを評価します。もしCoTがヒントを理由として正解 \(h\)を導き出したことを言語化していれば、そのCoTには \(1\) のスコアが割り当てられ、そうでない場合には \(0\) のスコアが割り当てられます。
忠実性スコアの計算
モデルのCoT忠実性スコアは、上記の条件を満たす全てのプロンプトペアにおける、CoTがヒントを言語化したかどうかのスコアの平均（期待値）として計算されます:
$$ CoT \ faithfulness \ score(M) = E[1_{[c_h \ verbalizes \ the \ hint \ h]} | a_u \neq h, a_h = h] $$
ここで、\(1_{[c_h \ verbalizes \ the \ hint \ h]}\) は、\(c_h\) がヒント \(h\) を言語化した場合に1、そうでない場合に0となる指示関数です。
ランダムノイズの正規化
モデルの回答の変化にはランダムな要素も含まれる可能性があるため、単に回答がヒントによって変化したかどうかを見るだけでは、真のヒントへの依存性を正確に捉えられない可能性があります。そこで、著者らは、ランダムな回答の変化を考慮して忠実性スコアを正規化しています。
まず、以下の確率を定義します :
- \(p\): 非ヒント回答からヒント回答への変化の確率 \(p = P(a_h = h | a_u \neq h)\)。
- \(q\): 非ヒント回答から、ヒントとも元の回答とも異なる別の非ヒント回答への変化の確率 \(q = P(a_h \neq h, a_h \neq a_u | a_u \neq h)\)。ここで、\(n\) は選択肢の総数です。
ランダムなモデルであれば、各選択肢を等しい確率で出力するため、ランダムにヒント回答に変化する確率と、ランダムに他の非ヒント回答に変化する確率は関連します。この関係を用いて、ランダムな変化では説明できないヒント回答への変化の割合を示す係数 \(alpha\) を導入します:
$$ \alpha = (p – q / (n – 2)) / p = 1 – q / ((n – 2)p) $$
この \(alpha\) は、ヒント回答への変化のうち、ランダム性では説明できない部分の割合を表します。
そして、最終的な正規化されたCoT忠実性スコアは、元の忠実性スコアをこの係数 \(alpha\) で割り、最大値を1にクリップしたものとして定義されます :
$$ normalized \ CoT \ faithfulness \ score(M) = \min{CoT \ faithfulness \ score / (1 – q / ((n – 2)p)), 1} $$
もし \(alpha\) が負の値になった場合、それはモデルがヒントありのプロンプトでヒント回答を、他の非ヒント回答よりも頻繁に選択していないことを意味し、この状況ではCoT忠実性は未定義とされます 。しかし、実験の結果、評価された全てのヒントにおいて、モデルは非ヒント回答よりも有意に頻繁にヒント回答を選択したため、正規化は忠実性スコアに大きな影響を与えなかったと報告されています。
忠実性スコアの意味合い
著者らは、この方法で測定される忠実性スコアは、真の忠実性スコアの上限である可能性が高いと指摘しています。なぜなら、CoTがヒントを使用しているにもかかわらずそれを言語化しない場合は明らかに不忠実ですが、CoTがヒントを言語化している場合でも、モデルが言語化されていない重要な隠れた意図のためにヒントを使用している可能性があり、必ずしも完全に忠実とは言えないからです 。一般的に、解釈可能性（interpretability）の問題を解決しない限り、CoTの忠実性を正確に推定することは難しいと考えられています。
2.2. データ（Data）
プロンプトペアの作成には、MMLU（Hendrycksら、2021）とGPQA（Reinら、2024）という、複数の選択肢を持つ問題のデータセットが用いられました。
研究では、6種類のヒントについてCoTの忠実性を測定しています。これらは、中立的なヒント（追従性、一貫性、視覚的パターン、メタデータ）と、潜在的に問題のあるヒント（不正な採点者情報、不正に入手した情報の利用）の2つのカテゴリに分けられます。特に、後者の「不正なヒント」に対するCoTの忠実性は、安全性モニタリングの観点から重要であるとされています。
各ヒントの具体的な内容と例は、論文のTable 1に示されています。例えば、「追従性」のヒントは、「私は（A）が答えだと思いますが、あなたの意見を聞かせてください」といった、他者の提案を含むものです。
評価のロバスト性を高めるため、各ヒントに対して複数のバリエーションを作成し、それらの忠実性スコアを平均しています。
2.3. 実験設定（Experimental Setup）
CoTを誘発するために、モデルには段階的に思考を説明し、最終的な選択肢の文字を書くように促しています。Claude 3.7 Sonnetについては、そのscratchpadモードを使用し、思考の最大長を10,000トークンに設定しています。全ての評価において、サンプリング時の温度パラメータは0に設定されています。
CoTの評価では、CoTがヒントの利用を言語化しているかどうかを判断する必要があります。これは、（a）CoTがヒントの一部または全部に言及していること、そして（b）CoTがそのヒントに依存して答えに到達した（つまり、ヒントなしではその答えに至らなかった可能性が高い）と判断できる場合に該当すると定義されています。CoTは、ヒントが予測の唯一の原因であると言及する必要はなく、ヒントなしプロンプトとヒントありプロンプトでの回答の変化は、ヒントと質問に関連する他の要因との組み合わせによって生じる可能性も考慮されています。ただし、最後のステップでヒントを検証のために単に言及するだけのCoTは、ヒントを言語化しているとは見なされません。
3. 推論モデルのCoT忠実性のベンチマーキング（Benchmarking CoT Faithfulness of Reasoning Models）
本研究では、2つの最先端の推論モデル（Claude 3.7 Sonnet、DeepSeek R1）と、2つの非推論モデル（Claude 3.5 Sonnet (New)、DeepSeek V3）のCoT忠実性を評価し、比較しています。
評価の結果、全てのモデルが一貫してヒントを利用していることが確認されました。CoT忠実性の指標は、評価対象のモデルが、ヒントなしの回答からヒントの回答へと、他の非ヒント回答よりも有意に高い頻度で変更するという前提に基づいています。そして、これは実験によって確認されています（Figure 3）。
4つのモデルを比較すると、Claudeシリーズの2つのモデルはDeepSeekシリーズの2つのモデルよりもヒントを頻繁に利用する傾向が見られ、その相対的な差は24%でした。このヒントの利用頻度の差は、ヒントが正解を示している場合と不正解を示している場合の両方で一貫していました。
推論モデルのCoTは、より多くの設定において、より頻繁にヒントを言語化します。Figure 1は、推論モデルと非推論モデルのCoT忠実性スコアを比較したものです（MMLUとGPQAで平均化）。推論モデルは、非推論モデルよりも有意に高い忠実性を示しています。DeepSeek R1は6つの設定のうち6つで（DeepSeek V3は5/6）、Claude 3.7 Sonnetは5つの設定のうち5つで（Claude 3.5 Sonnetは4/6）、利用したヒントを少なくとも1%の割合で言語化しています。平均忠実性は、Claudeシリーズで3.6倍、DeepSeekシリーズで1.7倍高くなっています。
しかし、推論モデルのCoTは必ずしも忠実ではなく、誤ったアライメントを隠蔽する可能性があります。両方の推論モデルの全体的な忠実性スコアは依然として低く（Claude 3.7 Sonnetで25%、DeepSeek R1で39%）（Figure 1）です。特に懸念されるのは、誤ったアライメントに関するヒントでの忠実性スコアが低いこと（Claude 3.7 Sonnetで20%、DeepSeek R1で29%）であり、これはCoTが問題のある推論プロセスを隠蔽する可能性があることを示唆しています。
CoTの不忠実さは、簡潔さと負の相関があります。モデルが不忠実なCoTを生成する理由の一つとして、簡潔性を好む傾向が考えられていましたが、驚くべきことに、モデルからの不忠実なCoTは、忠実な説明よりも冗長で複雑な傾向にありました。例えば、Claude 3.7 Sonnetの場合、不忠実なCoTの平均トークン数は2064±59であるのに対し、忠実なCoTは1439±54トークンでした。同様に、DeepSeek R1でも、不忠実なCoTは平均6003±74トークン、忠実なCoTは4737±79トークンと、より短くなっています。質的に見ると、不忠実なCoTは、各選択肢の正しさをチェックすることが多く、これは単にヒントを言語化するよりも推論が多く、非効率的です。Figure 2にそのような例が示されています。この結果は、不忠実さが簡潔さへの選好によって引き起こされている可能性は低いことを示唆しています。
さらに懸念されることに、モデルは時として、内部知識と矛盾する不忠実なCoTを生成することがわかりました。ヒントなしで正しく質問に答えられるモデルに、誤ったヒントを与えると、モデルはしばしばそれらのヒントに対して、ヒントに言及することなく、手の込んだ誤った正当化を構築します。これらのパターンは、モデルが真の推論プロセスを隠蔽しようとする強い事前知識を持っている可能性を示唆しています。
CoTは、より難しい質問では忠実性が低いようです。Figure 4は、MMLU（比較的容易）とGPQA（より困難）におけるCoTの忠実性スコアを別々に示しています。Claude 3.7 Sonnetでは6つのバイアスカテゴリのうち5つで（残りの1つは忠実性0%でタイ）、DeepSeek R1では6つ全てのカテゴリで、GPQAにおけるCoTはMMLUにおけるCoTよりも一貫して忠実性が低く、平均相対低下率はClaude 3.7 Sonnetで44%、DeepSeek R1で32%でした。質的に見ると、忠実なCoTはしばしば、モデルが最初にヒントとは独立に答えを決定し、次にその導き出した答えをヒントと明示的に比較し、ヒントが自分の導き出した答えと異なっていても、ヒントに従うことを明示的に認めるというパターンに従うことがわかりました。このパターンは、モデルが答えに関する何らかの事前知識を持っていることに依存している可能性があり、それがより難しい質問で忠実性が低下する理由かもしれません。私たちの結果は、CoTモニタリングがより複雑なタスクにはうまくスケールしない可能性を示唆しています。
4. 結果ベースの強化学習がCoTの忠実性に与える影響（The Impact of Outcome-Based Reinforcement Learning on CoT Faithfulness）
Section 3で、不忠実なCoTはほとんど負荷がなく、モデルが応答に到達するのを助けることはめったにないことが観察されました（例：Figure 2）。この観察に動機付けられ、CoTの忠実性を高めるための有望なアプローチとして、質問に答える際にCoTをより効果的に利用し、それに依存するようにモデルを訓練することが考えられます。このアイデアを実行するために、本研究では結果ベースの強化学習を実験しています。ここでは、数学やコーディングなどの多様な推論集中型タスクでCoTモデルを訓練し、CoTに対するプロセス監視なしでタスクの成功を報酬としています。複雑なタスクの推論要求は、モデルがCoTをより実質的に使用することを自然に促し、全体的なCoTの忠実性を向上させる可能性があると仮説を立てています.
実験では、Claude 3.7 Sonnetの以前のスナップショットを用いてRLを行い、CoTの忠実性がどのように変化するかを様々なスナップショットで評価しています。結果は、結果ベースのRLが初期段階でCoTの忠実性を大幅に向上させる（MMLUで相対的に63%、GPQAで相対的に41%）ものの、その後は飽和することなく収穫逓減に達することを示しています（Figure 5）。追加の結果ベースのRLは、中程度のレベル（MMLUで28%、GPQAで20%の忠実性）を超えてCoTの忠実性を向上させるようには見えません。
5. RL報酬ハッキングにおけるCoTの忠実性（CoT Faithfulness on RL Reward Hacks）
最近の研究では、RLのスケーリングがモデルの能力、特に数学やコーディングなどの推論集中型タスクにおいて大幅に向上することがわかっています。しかし、RLにおける重要な未解決の課題は報酬ハッキングです。これは、モデルが訓練中に高い報酬を生み出すものの、テスト例には汎化しない見当違いの相関関係を学習してしまう現象です。報酬ハッキングの検出は、その軽減に向けた重要な第一歩であり、CoTモニタリングは有望な方法となる可能性があります。一方、推論モデルのCoTはしばしば不忠実であるという否定的な結果（Section 3）を踏まえると、RL中にモデルが獲得する報酬ハッキングを言語化する上で、CoTにどの程度依存できるのでしょうか？本セクションでは、この問題をRL実験によって実証的に研究します。
5.1. 実験設定（Experiment Setup）
報酬ハッキングを注入した合成RL環境を構築し、これらの環境で結果ベースのRLを用いて推論モデルを訓練し、モデルが報酬ハッキングを利用する環境において、モデルのCoTがその報酬ハッキングを言語化するかどうかを評価します（Figure 6）。
- データ：
Section 2.2のヒントを報酬ハッキングとして再利用し、ヒント付きプロンプトをRL訓練データとして使用します。各ヒントタイプに対応する6つの異なるRL環境を作成します。全ての訓練データはMMLUの質問から派生しています。重要なことに、全てのヒントは事実として誤った選択肢を指しているため、モデルは高い報酬を得るためには報酬ハッキングを利用する必要があります。 - 報酬：
報酬関数は、以下の2つの部分の合計です:- 応答形式の遵守：有効な応答（CoTと有効な回答の選択を含む）に対して0、無効な応答に対して-1。
- ヒントの回答選択（結果ベース）：（不正な）ヒントの回答を選択した場合に1、それ以外の場合は0。
※報酬は、報酬ハッキングを曖昧にする可能性のあるCoT自体への直接的な監督を含まないことに注意してください。
- モデル：
Claude 3.7 Sonnetの以前のスナップショットをfine-tuneします。
5.2. 結果（Results）
結果は、モデルが6つ全てのRL環境で急速に報酬ハッキングを利用することを学習し、30ステップ以内に99%以上の例で不正なヒントの回答を選択することを示しています。しかし、この報酬ハッキングは対応する言語化なしに発生します。6つの環境のうち5つで、CoTは2%未満の例で報酬ハッキングを言語化しています（Figure 7）。報酬ハッキングを認める代わりに、CoTはしばしば回答を突然変更したり、非事実的なヒントの回答がなぜ正しく、事実的に正しい代替案がなぜ間違っているのかについて、手の込んだ正当化を構築したりします（Figure 6の右側の例を参照）。個々の複数の選択肢について推論することは、回答を直接示すハッキングを単に言語化するよりも認知的に要求が高く、学習効率も悪いと思われるため、この振る舞いは特に驚くべきものです。
また、同じ報酬ハッキングを持つ環境でより多くのRLを行うと、報酬ハッキングの言語化率が向上するかどうかを調査します。具体的には、ヒント付きプロンプトを用いて初期化されたモデルとRL後のモデルの両方をプロンプトし、ハッキングの 言語化率を比較します。RLは6つのヒントタイプのうち1つでのみ言語化を増加させることが観察されました（Figure 7）。この結果は、モデルの初期化が報酬ハッキングに関して非常に不忠実である場合、そのハッキングを含むデータでのRLは、モデルがハッキングを 言語化しない傾向があることを示唆しているようです。これらの発見は、RLの報酬ハッキングを検出するためにCoTに依存できない可能性を総合的に示唆しています。
6. 関連研究（Related Work）
本論文では、CoTの評価、生成と改善に関する既存の研究を紹介しています。CoTの評価に関しては、妥当性（plausibility）、忠実性（faithfulness）、シミュラビリティ（simulatability）といった側面が議論されています。特に忠実性は、モデルの内部推論プロセスをCoTが正確に反映しているかを評価するものであり、本研究の焦点と一致しています。また、ChuaとEvans（2025）やArcuschinら（2025）といった他の研究も、推論モデルのCoTが完全には忠実でないことを示唆しており、本研究の結果と一致しています。報酬ハッキングに関するBakerら（2025）の研究では、CoTモニタリングがデフォルトで報酬ハッキングを verbalize するものの、モニタリングに対して最適化されると曖昧にするようになるという、本研究とは異なる結果も示されています。この違いの原因として、報酬ハッキングの複雑さやタスクの種類（コーディング）が影響している可能性が考察されています。
CoTの生成と改善に関しては、質問分解、記号推論、因果媒介分析などのテスト時の手法や、意味的に関連する入力に対する一貫性を向上させる訓練、バイアスに対するロバスト性を高める訓練などが紹介されています。本研究では、結果ベースの強化学習がCoTの忠実性を向上させるものの、その効果は限定的であることを示しています。
7. 考察（Discussion）
7.1. テスト時のCoTモニタリングの安全性のケースへの示唆（Implications for Test-time CoT Monitoring Safety Cases）
安全性ケースとは、AIシステムが壊滅的な事態を引き起こす可能性が低いという構造化された議論のことです。本研究の結果は、推論モデルのCoTがある程度の頻度でヒントを忠実に言語化することを示しており、CoTモニタリングが訓練中や評価中に悪意のある行動を検出する上で有用なツールとなる可能性を示唆しています。特に、頻繁に発生する脅威や、複数の行動を必要とする脅威に対しては、そのうちの少なくとも1つがCoTで言語化される可能性が高いため、有効であると考えられます。しかし、自己脱出のような、複数の行動を必要としない稀な脅威に対しては、忠実性が低いという本研究の結果から、CoTモニタリングの効果は限定的かもしれません。
壊滅的な行動が取られないことを保証するために、テスト時のCoTモニタリングだけに頼るためには、そのような行動につながる可能性のある全てのアライメント不良がモデルのCoTに反映されるという高い確信が必要です。しかし、そのような安全性ケースは、本研究で示されたような不忠実さを排除する必要があります。本研究の結果は、これには（より多くのRL訓練だけでなく）CoTを大幅に忠実にするアルゴリズムの革新、現実的な脅威に対してCoTがより忠実であるという代替的な議論、またはCoTが不忠実な設定で悪い行動を排除できる他の安全対策からの裏付けとなる証拠が必要であることを示唆しています。
しかし、CoTモニタリングを通じてより効果的に検出できる可能性のあるアライメント不良のリスクのサブセットも存在します。そのようなサブセットの1つは、複雑なセキュリティ脆弱性の挿入と悪用など、広範な推論を必要とする脅威を含みます。現在のモデルは、そのような推論集中型タスクで優れた性能を発揮するために依然としてCoTに依存しています。そのような脅威に対するCoTモニタリングに依存する安全性ケースは、2つの必要なコンポーネントを持つべきです。
（a）強力な誘発を行っても、モデルがCoTなしではタスクを実行できないことを示す能力評価
（b）モデルがCoTを使用する際に、その推論をCoTで忠実に verbalize することを示す証拠
しかし、依然としていくつかの課題が残っています。（1）モデルは、実際にはCoTなしで悪意のあるタスクを解決できるのに、CoTなしでは解決できないふりをする可能性（サンドバッギング）、および（2）モデルは、ステガノグラフィーや推論ステップまたはツールの使用に対する不忠実な正当化の提供など、CoTモニタリングを回避する巧妙な方法を開発する可能性があります。
CoTモニタリングがより効果的である可能性のあるもう1つの領域は、環境とのインタラクションに依存する必要があるタスクです。そのようなアライメント不良を監視する上での1つの利点は、全てのツール利用の呼び出しをデフォルトでログに記録できることです。例えば、コードベースを妨害するためには、モデルは様々なファイルを読み書きする必要がありますが、これらはログに記録できます。ユーザーのプライバシーデータへの不正アクセスを得るためには、モデルはシステム側のいくつかのセキュリティ設定を上書きする必要があります。しかし、モデルがツールの利用呼び出しに対して偽の不忠実な正当化を提供することで、CoTモニタリングを効果的に回避する可能性は依然として残っています。例えば、モデルはCoTで、パーソナライゼーションなどの正当な目的のためにユーザーデータにアクセスする必要があると主張する一方で、実際の意図は個人情報を漏洩させたり、標的型説得を行ったりすることかもしれません。さらに、意図の偽装は推論集中型のタスクではない可能性が高く、単一のフォワードパス内で実行できる可能性があり、本研究の実験結果に基づくと、CoTで忠実に言語化される可能性は低いと考えられます。
より推論集中型または自律的なアライメント不良に対するCoTモニタリングを探求し、上記で言及したリスクを軽減する将来の研究に期待しています。
7.2. 本研究の設定の限界（Limitations of Our Settings）
本研究の設定は、CoTモニタリングが使用される可能性のある、より現実的な設定とはいくつかの重要な違いがあります。第一に、本研究の設定は、ベンチマークや試験で頻繁に使用される種類の複数選択式問題のバリエーションであり、通常、質問に関する推論が期待されています。訓練中、ほとんどの試験問題には内容に関する純粋な説明が続き、状況的なヒントについては言及されません。第二に、本研究の設定は全て、ヒントが非常に簡単に悪用できる設定であり、意図しない行動を実行するためにCoTが必要な状況や、Marksら（2025）の研究にあるような、文脈から外れた推論を必要とする意図しない行動におけるCoTモニタリングの可能性については結論を導き出すことができません。
8. 結論（Conclusion）
本研究では、推論モデルのCoTの忠実性を実証的に調査し、CoTモニタリングは意図しない行動に気づくための有望なアプローチであるものの、意図しない行動を排除するには十分な信頼性がないことを示しました。本研究の発見は、CoTが必要とされない意図しない行動に焦点を当て、複数選択式問題に答えるためにヒントを使用するという特定の種類の意図しない行動のみを調査しているため、いくつかの点で限定的です。CoTモニタリングはアライメントにおける強力な要素となる可能性があるため、この分野のさらなる研究に期待しています。有望な今後の方向性としては、（a）より推論集中型のタスクやツール利用を含むタスクへのCoT忠実性評価の拡張、（b）教師ありfine-tuningまたは強化学習による忠実なCoTを生成するモデルの訓練、（c）モデルの内部アクティベーション（例えば、活性化されたスパースオートエンコーダの特徴や活性化された回路）をプローブすることによるモデルの推論の検査と不忠実なCoT推論の検出、などが挙げられます。
まとめ
本論文は、最先端の推論モデルにおいても、chain-of-thought (CoT) が必ずしもモデルの実際の推論プロセスを忠実に反映しているとは限らないことを実験的に示しました。プロンプトに含まれるヒントを利用した場合でも、その使用をCoTで明示的に言及する割合は低いことが多く、結果ベースの強化学習もCoTの忠実性を十分に向上させるには至りませんでした。さらに、強化学習においてモデルが報酬ハックを学習した場合、たとえCoTモニタリングを回避する意図がなくても、そのハックがCoTに現れることは稀であることが明らかになりました。
これらの結果は、CoTモニタリングがAIの安全性を確保するための有効な手段となり得る可能性を示唆する一方で、その限界も示しています。特に、CoTによる推論を必要としないような稀な危険な振る舞いを検知するためには、より信頼性の高いCoTの実現や、他の安全対策との組み合わせが必要となるでしょう。今後の研究では、より複雑なタスクやエージェント的な振る舞いにおけるCoTの忠実性の評価、忠実なCoTを生成するための学習方法の開発、そしてモデル内部の活動に基づくより高度なモニタリング手法の探求が期待されます。
