はじめに
OpenAIが2026年6月17日、生命科学分野のAI評価ベンチマーク「LifeSciBench」を公開しました。博士号を持つ現役の創薬・製薬研究者173名が設計した750タスクで構成されており、4月に発表された創薬専用モデル「GPT-Rosalind」を含む複数の最先端モデルの性能が初めて体系的に比較されています。
参考記事
- タイトル: Introducing LifeSciBench
- 著者: OpenAI Research
- 発行元: OpenAI
- 発行日: 2026年6月17日
- URL: https://openai.com/index/introducing-life-sci-bench/
関連記事
要点
- LifeSciBenchは証拠処理・分析・設計最適化と予測・科学的推論・検証と運用・トランスレーション・科学的コミュニケーションの7ワークフローにわたる750タスクで構成されたベンチマークである
- タスクの79%が平均4ステップの複数の推論ステップを要し、53%は論文・図表・配列ファイルなどのアーティファクト解釈を伴う
- GPT-Rosalindが全体通過率36.1%で首位を記録し、GPT-5.5の25.7%を上回った
- Scientific Communicationでは通過率71.1%、Translationでは57.7%と、科学的知見を整理・伝達するタスクでの能力向上が顕著である
- 図表・配列ファイルなどアーティファクトを含むタスクの通過率は28.1%に留まり、テキスト完結タスクの45.1%と大きく乖離している
詳細解説
LifeSciBenchとは——実際の創薬現場を映した評価設計
LifeSciBenchは、製薬・バイオテク企業のドラッグディスカバリーに直接携わる博士研究者が作成した750タスクで構成されるベンチマークです。これまで多くの生命科学AI評価は、狭い専門領域や単一スキルに限定された問題形式にとどまっており、「証拠が不完全なままでの判断」「相矛盾する実験結果の整合」「不確実性のある状況での次の一手の決定」といった実際の研究作業を再現するには不十分でした。
OpenAIによれば、LifeSciBenchはこのギャップを埋めることを目的として設計されています。タスクは7つのワークフロー（証拠処理・分析・設計最適化と予測・科学的推論・検証と運用・トランスレーション・科学的コミュニケーション）と7つの生物学的ドメインをカバーしており、それぞれが「科学者が知識豊富な協力者に出す依頼」という形式をとっています。科学的プロンプト・関連コンテキストや添付資料・自由記述式の回答という構成は、実際のコラボレーション場面を意識したものだと思います。
データセット構成——173名の研究者と1,062件のアーティファクト
タスク作成には173名の専門家科学者が参加しています。全員が博士号レベルの訓練を受け、バイオテクまたは製薬業界での実務経験を有します。各タスクは採用前にいくつもの改訂サイクルを経ており、採用済みタスクの平均は6回の自動レビューサイクルと少なくとも2回の専門家レビューを完了しています。採用基準は関連ドメインのレビュアー間での90%以上の合意を必要とするもので、品質担保の仕組みが設計段階から組み込まれています。
添付アーティファクトは合計1,062件に及び、図表・PDF・表・配列ファイル・構造または化学ファイル・Webリファレンスが含まれます。タスクの79%が平均4ステップの複数の推論ないし意思決定ステップを要し、53%は少なくとも1つのアーティファクトの解釈または統合を必要とします。純粋な事実想起問題とは一線を画す設計だと言えます。
独立した品質評価では453名のレビュアー（97%が博士号保有、平均12年の現場経験・14本の査読論文、88%が受賞歴またはフェローシップ経験あり）がタスク内容を評価し、「実際の研究業務との整合性」「科学的推論とドメインスキルの適切な評価」「科学的根拠との整合性」「評価タスクとしての全体的有用性」のすべてのカテゴリで96%を超える合意率が得られています。
採点方法——部分点で「惜しい回答」も評価
LifeSciBenchの採点は、タスクごとの詳細なルーブリックを用います。全ベンチマークで合計19,020の採点基準（タスクあたり平均25基準）が設定されており、科学的な主張・計算・判断・根拠・留意点など、回答の各構成要素を個別に評価します。
性能指標は2種類です。通過率（Pass Rate）はタスクレベルの成功閾値（70%）を達成したタスクの割合を示し、スコア（Score）は個々の基準への部分点を含む平均ルーブリック報酬です。生命科学タスクは最終回答の正誤だけでは評価しきれない場合が多く、この二重評価体系はその実態に対応しています。たとえば、高レベルの結論は正しいが重要な実験上の制約を見落としている回答は「不完全」と評価される一方、タスク全体を解ききれなくても部分的に質の高い推論を含む回答には相応のスコアが付与されます。
評価結果——強みはコミュニケーション、課題はアーティファクト処理
OpenAIによれば、GPT-Rosalindは全体通過率36.1%で最上位に位置し、GPT-5.5の25.7%を上回りました。特に顕著な改善はScientific Communication（GPT-Rosalind 71.1% vs GPT-5.5 56.3%、ただしサンプル数n=9のため解釈には注意が必要）とTranslation（57.7% vs 36.8%）に見られます。「臨床的意義への接続」や「科学的証拠の構造化された説明」を求めるタスクで能力が急速に向上しているパターンは、モデルが文書生成的な側面で最も大きな恩恵を受けていることを示唆していると思います。
一方で、Design, Optimization & Prediction（GPT-Rosalind通過率30.7%）やAnalysis（30.3%）は依然として高いハードルが残ります。特に明確な課題として、テキスト完結タスクでの通過率45.1%に対し、アーティファクトやURLを含むタスクでは28.1%まで低下する点が挙げられます。GPT-5.5でも同様のパターン（29.9%→21.9%）が確認されており、複雑な図表や大型配列ファイルから情報を抽出して最終回答に統合する能力は、現在の最先端モデル全般の共通課題だと考えられます。
数値出力を要するタスクの通過率は14.8%、配列・構造出力は24.0%、コンストラクト生成タスクは27.3%と低い水準にあります。これらは回答が厳密でなければならないタスク（CRISPR/HDRドナー設計やsiRNA設計など「そのまま実験に使える出力」が求められる場面）に相当し、現状ではまだ人間の監督が不可欠な領域と言えます。
ベンチマークの限界と次のステップ
OpenAIは、LifeSciBenchは「自己完結型タスクにおける能力の証拠」を提供するものであり、実際の研究環境での貢献や研究成果の加速を直接測るものではないと明示しています。実際の研究は仮説修正・追加実験設計・新たな証拠への対応という反復プロセスであり、単一タスクの性能だけからその先を推論することには限界があります。今後は、ベンチマーク性能とライブ研究環境での実際のアウトカムを結びつけるための展開研究が予定されています。
まとめ
LifeSciBenchは、現行AIの生命科学領域での実力と課題を体系的に示す新しい評価基準です。GPT-Rosalindは科学的コミュニケーションやトランスレーションで着実な進歩を見せる一方、図表・配列ファイルを含む複合タスクや数値・構造出力への対応は依然として限定的だと思います。創薬専用モデル「GPT-Rosalind」の基本仕様については、4月の発表記事もあわせてご覧いただければと思います。
