はじめに
OpenAIは2026年7月29日、AIエージェント評価用ベンチマーク「ARC-AGI-3」における自社モデルGPT‑5.6 Solの低スコアの原因を分析した記事を公開しました。本稿では、ハーネス(実行環境)の設定変更でスコアが3倍に向上したという発表内容と、その背景にある技術的な知見を解説します。
参考記事
- タイトル: How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
- 著者: Ilan Bigio, Ted Sanders
- 発行元: OpenAI
- 発行日: 2026年7月29日
- URL: https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
関連記事
要点
- GPT‑5.6 SolはARC-AGI-3ベンチマークの公式ハーネスにおいて、7.8%という低いスコアにとどまっていた。
- OpenAIの調査により、ハーネスが各行動後に推論内容を破棄し、かつ会話履歴を単純に切り捨てていたことが低スコアの主因であると判明した。
- Responses APIの「推論保持」と「コンパクション」という2つの設定を有効にしたところ、公開タスクセットのスコアが13.3%から38.3%へと約3倍に向上し、出力トークン数は6分の1に減少した。
- 人間のテスターの平均スコアは推定48%であり、改善後もGPT‑5.6 Solはこの水準を下回っている。
- OpenAIは、モデルを評価・比較する際にはChat Completions APIではなくResponses APIを用い、推論保持とコンパクションを有効にした設定を推奨している。
詳細解説
ARC-AGI-3とは何か
ARC-AGI-3は、AIエージェントが未知の2Dパズルゲームを探索し、明示的な指示なしにルールを推論する能力を測るベンチマークです。Arc Prizeが提供しており、25種類のデモゲームが公開されています。ベンチマークは意図的に汎用的なハーネスを採用しており、ツールや特殊機能を排除することで、モデル固有の弱点を可視化しやすくし、モデル間の比較を公平にする狙いがあるとされています。
GPT‑5.6 Solは数学の未解決問題を証明したり、ポケモンやSlay the Spireといったゲームを攻略したりする実績があります。しかし、ARC-AGI-3では7.8%という低いスコアにとどまり、前世代のGPT‑5.5に至ってはわずか0.4%でした。この落差の大きさが、OpenAIが原因調査に乗り出すきっかけになったと考えられます。
低スコアの原因——推論の破棄と履歴の切り捨て
OpenAIによれば、ARC-AGI-3の公式ハーネスには2つの特徴がありました。1つ目は、各行動の後にモデルの私的な推論内容がすべて破棄される点です。GPT‑5.6 Solは過去の行動記録は参照できるものの、その行動に至った思考過程そのものは見えない状態で、毎回ゲームを一から考え直す必要がありました。2つ目は、会話の文脈が175,000文字を超えると古いメッセージから切り捨てられる「ローリング・トランケーション(古い履歴から順に削除する方式)」が採用されていた点です。
この2つの仕組みが組み合わさることで、モデルは自らの過去の思考も行動の記憶も失いながらゲームに取り組んでいたことになります。ChatGPTやCodexといった実際の製品では、モデルの推論メッセージは会話履歴の一部として保持されており、今回のハーネスはOpenAIの本番運用環境とは異なる条件になっていたと言えます。
Responses APIによる改善——推論保持とコンパクション
OpenAIは、自社のResponses API(会話の文脈管理を簡素化するAPI)を用いてARC-AGI-3のハーネスを再実装しました。GPT‑5.6では、直前のレスポンスIDを渡すだけで、ツール呼び出しやターンをまたいで推論内容が自動的に保持される仕組みになっています。
推論を保持した結果、GPT‑5.6 Solは各行動の前に費やす思考時間が減り、ゲームを一から解釈し直す必要がなくなりました。加えて、過去の思考を記憶できるようになったことで、時間をかけた学習や一貫した戦略の採用が可能になったといいます。次に、単純な履歴の切り捨てを、Responses APIのもう1つの設定である「コンパクション(会話履歴を要約して圧縮する仕組み)」に置き換えたところ、より長いゲームプレイの中でも学習内容を保持しやすくなり、より少ない出力トークン数で高いスコアを達成したとのことです。
最終的に、推論保持とコンパクションを組み合わせたハーネスでは、公開タスクセットのスコアが13.3%から38.3%へと約3倍に向上し、出力トークン数は6分の1にまで削減されました。この効果の大きさは、ベンチマークの評価結果がモデル単体の能力だけでなく、API設定やハーネス設計、プロンプトの与え方といった見えにくい選択にも大きく左右されることを示していると考えられます。
人間のテスターの平均スコアは推定48%とされており、改善後もGPT‑5.6 Solはこの水準に届いていません。7月10日に正式公開されたGPT‑5.6は、コーディングやサイバーセキュリティの分野で性能刷新を掲げたモデルですが、今回の分析結果は、同じモデルでもベンチマークの実行条件次第で評価が大きく変わり得ることを改めて示す事例だと考えられます。
まとめ
本稿では、OpenAIがARC-AGI-3ベンチマークでGPT‑5.6 Solのスコアを3倍に高めた事例を紹介しました。ベンチマークの評価結果は、モデル本体の性能だけでなく、ハーネス設計やAPI設定にも左右されると考えられます。ベンチマーク自体の課題については、SWE-Bench Proのタスク不備を指摘した記事もあわせてご覧いただければと思います。
