［開発者向け］OpenAIが明かす、SWE-Bench Proの「約30%のタスクが壊れている」という現実

2026-07-10

はじめに

　OpenAIは2026年7月8日、コーディング評価ベンチマーク「SWE-Bench Pro」を独自に監査した結果を発表しました。本稿では、この発表内容をもとに、監査の手法と見つかった問題の内訳、今後のベンチマーク開発への示唆について解説します。

参考記事

タイトル: Separating signal from noise in coding evaluations
著者: OpenAI
発行元: OpenAI
発行日: 2026年7月8日
URL: https://openai.com/index/separating-signal-from-noise-coding-evaluations/

要点

OpenAIは、コーディング評価ベンチマーク「SWE-Bench Pro」を独自の監査パイプラインで検証し、全体の約30%のタスクに問題があると推定した
監査は自動フィルタリングによる候補抽出(286件)、Codexベースの調査エージェントによる審査、経験豊富なソフトウェアエンジニア5名による人手レビューという段階で構成されている
問題の種類は「過度に厳格なテスト」「仕様不足のプロンプト」「カバレッジ不足のテスト」「誤解を招くプロンプト」の4カテゴリーに分類された
自動パイプラインは200件(27.4%)、人手レビューは249件(34.1%)のタスクを「破損」と判定し、両者の判定は74%が一致した
OpenAIは、SWE-Bench Proへの移行を推奨していた過去の見解を撤回し、経験豊富な開発者が設計する新たなベンチマークの必要性を訴えている

詳細解説

SWE-Bench Proとは何か、なぜ見直しが必要になったのか

　OpenAIは以前、SWE-bench Verifiedの汚染問題を指摘し、コーディング能力を測る指標として信頼性を失っていると報告していました。その際、コミュニティに対して代替として推奨したのが、Scale AIが開発した「SWE-Bench Pro」です。SWE-Bench Proは、実際のリポジトリにおける機能変更の履歴からタスクを抽出し、より長時間・より現実的なコーディング作業でエージェント性能を測るよう設計されたベンチマークです。公開されている731タスクの split では、フロンティアモデルの通過率が8か月で23.3%から80.3%まで向上したとされています。

　急速な性能向上を示す指標であるほど、その裏付けとなるテストやプロンプトの品質を厳しく検証する必要があると考えられます。ベンチマークのスコアだけを見て導入判断をすると、実際の開発現場での性能とズレが生じるおそれがあるためです。

監査の方法:自動フィルタリングと人間による検証

　OpenAIはまず、モデルの試行内容・タスクのメタデータ・失敗時のログを分析するパイプラインを用いて、問題の疑いがあるタスクを286件抽出しました。その後、二つの経路で深掘りの検証を行っています。一つは、Codexベースの調査エージェントによる「人間監督下でのエージェントレビュー」で、エージェントがリポジトリやテストを実際に調べ、複数回の独立した監査結果を研究者が最終判断する形式です。もう一つは、経験豊富なソフトウェアエンジニア5名がそれぞれのタスクを独立にレビューする「人手による注釈キャンペーン」です。

　二つの経路を併用しているのは、自動化された分析だけでは見落としが生じる可能性を補うためだと考えられます。実際、人手レビューの方がタスクを「破損」と判定する割合が高く、1つのタスクに複数の問題が重なっているケースも多く見つかったとのことです。

見つかった問題の内訳と具体例

　自動パイプラインは200件(27.4%)を、人手レビューは249件(34.1%)のタスクを破損と判定しました。両者の判定が重なった割合は74%です。特に「カバレッジ不足のテスト」については、人手レビューでは9.4%が該当すると判定された一方、自動パイプラインでは4.1%にとどまっており、この項目で最も大きな差が生じています。

　具体例として、OpenLibraryというリポジトリのタスクでは、プロンプトに示された出力例が半角スペース1つだったのに対し、実際に採点で使われる非公開テストではスペース2つを要求していたケースが紹介されています。プロンプトの指示に忠実に従ったモデルほど、このような些細な表記の違いによって不正解と判定されてしまう構造だったと言えます。このような食い違いは、モデルの実力ではなくテスト設計の粗さに起因するものであり、ベンチマークの結果を評価に使う際は注意が必要だと考えられます。

今後のベンチマーク開発に向けて

　OpenAIは今回の結果を踏まえ、SWE-Bench Proへの移行を推奨していた過去の見解を撤回すると述べています。オープンソースのIssueやプルリクエストは、もともと人間同士のやり取りのために作られたものであり、問題文・コード・テストがモデル評価用に整然と揃っているとは限らないと指摘されています。

　今後については、経験豊富なソフトウェア開発者がモデル評価を主目的として設計する新しいベンチマークの登場に期待を寄せており、人手による監督を組み込みやすい枠組みが望ましいとしています。AIモデルの性能そのものが上がったことで、プロンプトやテストケース、失敗ログを人手より深く分析できるようになった点も、今回のような監査を可能にした背景の一つだと考えられます。

まとめ

　OpenAIによる監査で、SWE-Bench Proの約30%のタスクに欠陥が見つかり、同社は移行推奨を撤回しました。ベンチマークの数値をそのまま鵜呑みにせず、テスト設計の質にも目を向ける重要性を示す事例だと思います。過去のSWE-bench Verifiedの汚染問題についてはこちらの記事でも解説していますので、あわせてご覧いただければと思います。