はじめに
OpenAIは2026年11月6日、AIエージェントが実験室の生データをどこまで正しく読み取れるかを測る新ベンチマーク「BioBasicsBench」を発表しました。日常的な実験作業100タスクで7モデルを評価した結果と、見えてきた課題を本稿で整理します。
参考記事
- タイトル: Measuring how AI agents handle everyday wet-lab science
- 著者: OpenAI
- 発行元: OpenAI
- 発行日: 2026年11月6日
- URL: https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science
関連記事
要点
- BioBasicsBenchは、酵素設計を手がけるバイオ企業Ligoと共同開発した、ウェットラボの日常的な分析100タスクからなるベンチマークである
- 論文用に選ばれた図ではなく、ゲル画像やコロニーの写真、顕微鏡画像、装置の出力といった生の実験データを入力に使う
- 推論量を多く割り当てる「xhigh」設定で、GPT‑6 Astraは平均66.7%、GPT‑5.6 Solは43.8%のスコアを得た
- Astraは、データから言えることの限界の見極め、画像の細部の読み取り、実験の文脈の保持で改善を示した
- 一方で、思い込みが対照実験の結果に優先する、矛盾するデータを軽視する、コロニーを数え間違えるといった弱点も報告されている
詳細解説
なぜ「日常的な実験」を測るのか
ウェットラボとは、生物試料を使って実際に実験を行う研究室のことです。OpenAIによれば、そこでの日々の作業には、失敗した実験、判断に迷う画像、食い違う観察結果がつきまといます。論文に載せるために選ばれた図表をもとにした既存のベンチマークでは、こうした曖昧さや、そのたびに必要になるトラブルシューティングを捉えきれない可能性があるとしています。
画像を読み違えたり、実験結果を確かめるための対照（コントロール）の問題を見落としたりすると、科学者は誤った結論を導き、答えにつながらない実験に時間を費やすことになりかねません。BioBasicsBenchは、エージェントが生データを解釈し、誤りに気づき、証拠が結論を支えられない場面を見分けられるかを測るよう設計されています。OpenAIは7月にも、計算生物学の判断力を測るベンチマーク「GeneBench-Pro」を公開していました。今回はより実験の現場に近い領域を対象にしたものと言えます。
BioBasicsBenchの中身
タスクは、ウェットラボの日常業務にあたる次の5分野にわたります。
- タンパク質実験
- イメージングとサイトメトリー（細胞を1つずつ測定する手法）
- 定量とアッセイ
- 核酸実験
- 分子クローニング
難易度は、ゲル画像からDNAの分子量を読み取る簡単なものから、詳細なアッセイ分析まで幅がありますが、いずれも研究者であれば確実にこなせるべき日常的な作業だとされています。多くのタスクは、生物学の知識、画像やデータの解釈、誤りの検出、実験手順の理解など、複数のスキルを同時に問う構成です。
タスクは科学者が自分の実験データを使って作成し、専門家による採点基準（ルーブリック）と組み合わせています。各タスクは、作成者以外のLigoの科学者による内部レビュー、ウェットラボで働く博士レベルの科学者による外部レビュー、最終の内部レビューを経ています。レビューでは、問題文、実験データ、ルーブリック、作成者のメモ、採点済みのモデルの回答が確認されました。
エージェントは、求められた結論・測定値・推奨事項と、必要に応じて根拠を構造化して回答します。採点はルーブリックの項目ごとに部分点を与える方式で、結論が正しいだけの回答と、分析の一部だけが正しい回答を区別できるようになっています。
エージェントに与えられるデータの種類は次のとおりです（1つのタスクに複数の種類が含まれる場合があります）。
| データの種類 | タスク数 | 内容 |
| ゲル・ブロット | 31 | アガロースDNAゲル、SDS-PAGEゲル、ウェスタンブロット |
| プロトコル・メモ・仕様 | 27 | 手順書やSOP、実験ノート、手書きメモの写真、カタログ、装置仕様、公開された手法 |
| 表・装置のエクスポート | 20 | CSVやExcelの出力、レーン配置や在庫表、フローサイトメトリーの生ファイル |
| 実験台・装置・試薬の写真 | 18 | 実験台、ゲル装置、試薬や培養チューブ、PCRプレート、pH試験紙、冷凍庫など |
| 顕微鏡画像 | 14 | 明視野・蛍光の生画像、多チャンネル画像、zスタック、タイムラプス動画 |
| 装置の画面・グラフ | 13 | フローサイトメーター、顕微鏡、NanoDrop、プレートリーダー、天秤の画面写真、標準曲線など |
| シーケンスデータ | 12 | ロングリードのFASTQ、FASTA配列、GenBankマップ |
| 手順の動画 | 7 | 画線、接種、段階希釈、電気泳動槽やインキュベーターの準備、天秤での計量 |
| 寒天培地・コロニー | 7 | 形質転換プレート、青白選択、抗生物質ディスクのプレート |
| 参照資料 | 21 | ラダーチャート、プラスミドマップ、pH表（補助資料） |
本稿としては、手書きメモの写真や実験の動画まで含めている点に、このベンチマークの特徴がよく表れていると受け止めています。研究現場の情報は整ったデータばかりではなく、こうした雑多な資料をまとめて読み解く力が問われているためです。
評価結果——Astraが大きく向上
OpenAIは、GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna、GPT‑6 Astraの7モデルを評価しました。モデルと推論量の組み合わせは37通りで、各設定で100タスクを5回ずつ試行し、合計18,500件の結果を得ています。指標は「平均報酬」で、獲得できる点数に対する平均スコアの割合です。
7モデルすべてで報告されている最高の推論設定「xhigh」での結果は次のとおりです（OpenAI発表）。
| モデル | 平均報酬 | 95%信頼区間 | 1タスクあたりの出力トークン |
| GPT‑6 Astra | 66.7% | 60.3〜73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6〜68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6〜50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3〜44.5% | 13,120 |
| GPT‑5.5 | 35.4% | 29.7〜41.0% | 11,135 |
| GPT‑5.4 | 33.2% | 28.3〜38.4% | 13,717 |
| GPT‑5.2 | 31.2% | 26.2〜36.3% | 27,620 |
OpenAIによれば、GPT‑6 Astraは推論量が少ない設定でもGPT‑5.6 Solを大きく上回りました。この結果から、ネイティブなマルチモーダル能力の強さが、日常的なウェットラボ分析の性能向上の鍵になる可能性があるとしています。表を見ると、上位モデルほど少ない出力トークンで高いスコアを出している点も目を引きます。長く考えれば正解に近づくというより、画像やデータを最初に正しく読めるかどうかが結果を左右していると考えられます。
GPT‑5.6 Solからの3つの改善点
OpenAIは、Astraの改善を具体例とともに3つ示しています。
- データが示せることの限界を見極める: 死細胞を検出する色素の信号から、GPT‑5.6 Solは細胞を「死んでいる」と判定した。しかし検出器は2つ目の色素の光も拾う可能性があり（検出波長が525〜540nmで重なっていた）、明るさだけではその結論を支えられなかった。Astraはこの曖昧さに気づき、信号を分けるための対照の追加を求めた
- マルチモーダルデータの扱いが向上: DNAクローニング実験の課題で、GPT‑5.6 Solは陰性対照のプレートにコロニーがないことを根拠に結論を出した。Astraはプレートの縁に書かれたラベルが「LB Kan50」（実験で使ったアンピシリンとは別の抗生物質であるカナマイシン）であることに気づき、信頼できる対照ではないと正しく判断した
- 実験の文脈を保ち続ける: 一連の顕微鏡画像で細胞がピントの内外を行き来する課題で、GPT‑5.6 Solは細胞が消えたように見える理由を生物学的に説明しようとした。Astraは、異なる深さで撮影した画像の連続である「zスタック」だと正しく認識した
原文は、仮説を検証する際のバイアスもあって、データを過大に解釈することは科学でよくある落とし穴だと述べています。1つ目の例は、AIが「言えないことは言わない」方向に進歩したことを示しており、実験の補助役としては特に重要な性質だと思います。
まだ残る課題
OpenAIは、ベンチマークのスコアが上がっても、モデルが実験室で信頼できる判断を下せるとはまだ言えないと強調しています。Astraについて、思い込みや予想した答え、与えられたラベルが証拠に優先してしまう例と、途中の観察が正しくても最終判断に生かされない例を示しています。
1つ目は、 思い込みが対照実験の結果に優先する 例です。コロニーPCRのゲル画像で、Astraはバンドを2つのグループに正しく分けましたが、「PCR産物が大きい方がクローニング成功」と思い込み、レーン4・6・7・8を選びました。参照解答は対照との比較から、レーン5・9・10を選んでいます。原文が示す対照の読み方は次のとおりです。
- レーン3には元のプラスミドのPCRだけが入っており、そのバンドが古いプラスミドの位置の基準になる
- 参照解答の解釈では、レーン2には両方のパターンが含まれる。組み立てが不完全だと、新しい産物と並んで古い鋳型や骨格が残るためである
- 得られたコロニーは古いプラスミドと新しいプラスミドのどちらも持ちうるので、それぞれのバンドを基準のパターンと比べる
見た目のグループ分けは正しいものの、各グループの実験上の意味づけが逆になっていました。その結果、誤ったコロニーを選び、後工程で間違ったプラスミドを精製することにつながるとしています。
2つ目は、 自分の解釈に合わないデータを軽視する 例です。Astraは、細胞内の区画である液胞は周囲より暗く見えると結論づけましたが、同じ画像には明るく見える液胞もありました。顕微鏡のピントを変えるとコントラストが反転することがあるため、暗い例だけでは一般的な規則にはなりません。Astraは複数の領域を確認し、ピントでコントラストが変わることにも言及していたものの、最終的にはピントが合っているとみなした細胞を重視し、暗い液胞の説明だけを残しました。確認した矛盾する領域が、結論に反映されなかったことになります。
3つ目は、 日常的な測定でのコロニーの数え間違い です。Astraが付けたカウントの印は個々のコロニーと確実には対応しておらず、次の3種類の誤りが見られました。
- 近接したコロニーを分けられない: 隣り合うコロニーの間に印が1つだけ付いた
- 見えているコロニーを見落とす: 2つのコロニーに印が付かなかった
- 何もない寒天を数える: コロニーのない場所に印が付いた
このプレートでは、参照値に対して約12%の数えすぎになりました。原文によれば、コロニー数の誤りは、DNAが細胞にどれだけ効率よく導入されたかの推定に直接影響します。播いた量と希釈率が同じなら、数えすぎた割合だけ効率も高く見積もられることになります。
3つの例に共通するのは、「見えていること」と「判断に使うこと」のずれだと感じます。画像は正しく読めていても、思い込みや都合のよい解釈が最後の結論を左右してしまうという点は、人間の研究者にも身に覚えのある失敗だと思います。AIを実験の補助に使う場合も、最終判断の根拠を人が確かめる体制が当面は欠かせないと考えられます。
信頼できる実験支援に向けて
OpenAIは、生物学研究を加速するには日常の作業を正しくこなすことが必要だとし、BioBasicsBenchはその作業を改善の目標に据えるものだと位置づけています。生データの解釈、対照の確認、結論が支持されない場面の見極めが進めば、科学者はトラブルシューティングにかける時間を減らし、次にどの実験に取り組むかの判断により多くの時間を使えるようになるとしています。また、こうした能力を追跡することは、バイオセーフティやバイオセキュリティへの影響を理解することにも役立つと述べています。
まとめ
OpenAIのBioBasicsBenchは、生の実験データを読む力を100タスクで測るベンチマークで、GPT‑6 Astraは66.7%を記録しました。前世代から大きく伸びた一方、思い込みや数え間違いの課題も明らかになっています。生命科学分野の評価の流れは、LifeSciBenchを紹介した記事もあわせてご覧ください。
