［技術紹介］OpenAIがAI医療評価の新基準「HealthBench」を発表！AIは医師を超えるのか？

はじめに

　近年、人工知能（AI）技術は目覚ましい進歩を遂げ、医療分野への応用も期待されています。AIが私たちの健康情報をより身近なものにし、医療従事者の質の高いケア提供を支援し、そして私たち自身やコミュニティの健康を守る力となる可能性を秘めているのです。しかし、その実現のためには、AIモデルが有益かつ安全であることを保証しなければなりません。

　本稿では、OpenAIが発表したAIシステムの医療分野における能力をより良く測定するために設計された新しい評価基準「HealthBench」について、わかりやすく解説します。

引用元記事

• タイトル: Introducing HealthBench
• 発行元: OpenAI
• 発行日: 2025年5月12日
• URL: https://openai.com/index/healthbench/

要点

• HealthBenchは、医療におけるAIシステムの能力を測定するために設計された新しい評価基準である。
• 世界60カ国で実践経験のある262人の医師との提携により構築された。
• 5,000件の現実的な健康に関する会話と、医師が作成したカスタムルーブリック（評価基準）が含まれる。
• 評価は「有意義（Meaningful）」「信頼性（Trustworthy）」「未飽和（Unsaturated）」であることを重視する。
• OpenAIの最新モデルはHealthBenchで大幅な改善を示したが、さらなる進歩の余地も存在する。
• HealthBenchの評価セットと基礎となるデータは、GitHubリポジトリで公開されている。

詳細解説

なぜ新しい評価基準が必要なのか？

　AI、特に大規模言語モデル（LLM）が人間の健康向上に貢献する未来は、多くの人々が期待するところです。AIは、健康情報へのアクセスを拡大し、臨床医が高品質なケアを提供するのを支援し、人々が自身やコミュニティの健康のために声を上げる手助けとなる可能性があります。

　しかし、この目標を達成するためには、AIモデルが実用的かつ安全であることが不可欠です。既存の評価方法の多くは、現実的なシナリオを反映していなかったり、専門的な医学的意見に対する厳密な検証が不足していたり、あるいは最先端モデルがさらに改善する余地を残していなかったりする課題がありました。

　そこでOpenAIは、これらの課題に対処し、AIシステムの医療における能力をより適切に測定するために「HealthBench」を開発しました。

HealthBenchの設計思想

　HealthBenchは、医療におけるAIシステムの評価が以下の3つの原則に基づいているべきだという信念のもとに構築されています。

1. 有意義（Meaningful）であること:
   スコアが現実世界への影響を反映すること。これは、試験問題のような形式を超えて、個人や臨床医がモデルと対話する方法を模倣した、複雑で実生活に即したシナリオやワークフローを捉えるべきです。
2. 信頼性（Trustworthy）があること:
   スコアが医師の判断を忠実に示す指標であること。評価は医療専門家の基準と優先事項を反映し、AIシステムを改善するための厳格な基盤を提供するべきです。
3. 未飽和（Unsaturated）であること:
   ベンチマークが進歩をサポートすること。現在のモデルが大幅な改善の余地を示すことで、モデル開発者が継続的にパフォーマンスを向上させるインセンティブを提供するべきです。

HealthBenchの構成要素

　HealthBenchは、AIモデルが現実的な健康シナリオにおいて、医師の専門家が最も重要と考える点に基づいてどの程度優れたパフォーマンスを発揮するかをテストします。

• 5,000件の現実的な会話データ:
  HealthBenchに含まれる5,000件の会話は、AIモデルと個々のユーザーまたは臨床医との間のインタラクションをシミュレートしています。これらは、合成生成（AIによる自動生成）と人間による敵対的テスト（人間がAIの弱点を見つけようとするテスト）の両方を通じて作成されました。これらの会話は、現実的で、大規模言語モデルの実際の使用状況に類似するように作られています。具体的には、複数回のやり取りがある（マルチターン）、多言語に対応している、一般の人と医療提供者の様々なペルソナを捉えている、広範な医療専門分野とコンテキストにまたがっている、そして難易度が高いものが選ばれています。
• 医師作成のルーブリック評価:
  HealthBenchはルーブリック評価を採用しており、各モデルの応答は、その会話に特化した医師作成のルーブリック基準のセットに対して採点されます。各基準は、理想的な応答に含めるべきことや避けるべきこと（例：含めるべき特定の事実、避けるべき不必要に専門的な専門用語など）を概説しています。各基準には対応するポイント値があり、その基準の重要性に関する医師の判断に合わせて重み付けされています。HealthBenchには48,562件のユニークなルーブリック基準が含まれており、モデルのパフォーマンスの特定の側面を広範囲にカバーしています。
• モデルベースのグレーダー:
  モデルの応答は、各ルーブリック基準が満たされているかどうかを評価するために、モデルベースのグレーダー（GPT-4.1）によって評価されます。応答は、満たされた基準の合計スコアと可能な最大スコアを比較して、総合スコアを受け取ります。

HealthBenchのテーマと評価軸

　HealthBenchの会話は、緊急時の紹介、不確実性への対応、グローバルヘルスなど、7つのテーマに分かれています。各テーマには関連する例が含まれ、それぞれに特定のルーブリック基準があります。

　また、各ルーブリック基準には、モデルの行動のどの側面（精度、コミュニケーションの質、コンテキストの探求など）を評価するかを定義する評価軸があります。

• 主なテーマの例:
  • 緊急時の紹介 (Emergency referrals): 緊急事態を認識し、適切なケアへのエスカレーションを推奨するなど、モデルが正確にトリアージできるかどうかを評価します。
  • 専門知識に合わせたコミュニケーション (Expertise-tailored communication): ユーザーの知識レベルに合わせて情報を伝えられるかを評価します。
  • 不確実性への対応 (Responding under uncertainty): 情報が不十分な場合に、適切に対応できるかを評価します。
• 主な評価軸の例:
  • コミュニケーションの質 (Communication quality): 応答の長さ、明瞭さ、詳細レベル、語彙、構造、強調がユーザーと状況に最適であるか。
  • 指示への追従 (Instruction following)
  • 精度 (Accuracy)
  • コンテキスト認識 (Context awareness)
  • 完全性 (Completeness)

モデルのパフォーマンスと進化

　OpenAIはHealthBenchを使用して、最近のフロンティアモデル（最先端モデル）のパフォーマンスを評価し、過去数年間の進捗を記録しています。その結果、OpenAIのモデルは急速に改善していることが示されました。

• o3モデルの優位性: o3（OpenAIのモデル）は、Claude 3.7 SonnetやGemini 2.5 Pro (Mar 2025)を含む他のモデルを上回るパフォーマンスを示しました。OpenAIのフロンティアモデルは、HealthBenchで28%改善し、これはGPT-4o (August 2024)とGPT-3.5 Turboの間の飛躍よりも大きな進歩です。
• コスト効率の向上: GPT-4.1 nanoのような小型モデルが、25倍安価であるにもかかわらず、2024年8月のGPT-4oモデルを上回るパフォーマンスを示すなど、小型モデルも劇的に改善しています。
• 信頼性: 最も重要な側面の一つである信頼性（ワーストケースのパフォーマンス）も、最新モデルでは大幅に改善されましたが、さらなる向上の余地が残っています。

HealthBenchファミリー

　HealthBenchには、特定の目的に合わせた2つのバリエーションがあります。

1. HealthBench Consensus: 複数の医師のコンセンサスに対して厳しくフィルタリングされた基準（複数の医師の過半数が例に対して適切であると同意した場合にのみ基準が含まれる）を持つ3,671のHealthBenchの例を含みます。エラー率がほぼゼロになるように設計されています。
2. HealthBench Hard: HealthBenchから、今日のフロンティアモデルが苦戦する1,000の例のサブセットを含みます。これは、今後のモデル改善のための価値ある目標となることが期待されます。

医師のベースラインとの比較

　HealthBenchの応答は、AIモデルのパフォーマンスが専門家の臨床判断と比較してどの程度であるかを理解するために、医師が書いた応答と比較評価されました。

　2024年9月のモデル（o1-preview、4o）からの参照回答と、それらの参照にアクセスできる医師からの専門家の回答を比較しました。モデル支援を受けた医師は、これらのモデルにおいて参照回答よりも優れた成績を示しました。これは、医師が2024年9月のモデルからの回答を改善できることを示しました。2024年9月のモデルのみを使用した医師とモデル支援を受けた医師の両方が、参照回答のない医師よりも優れた成績を示しました。

　人間の医師が2025年4月モデルからの回答の質をさらに向上させることができるかどうかを測定するために、追加の実験を行いました。o3およびGPT-4.1からの参照回答と、それらの参照にアクセスできる医師が作成した専門家による回答を比較しました。これらの例では、医師の回答は新しいモデルの回答よりも改善されなくなったことがわかりました。　

　これは、AIモデルが特定のタスクにおいて、人間の専門家と同等、あるいはそれを超える質の応答を生成できる可能性を示唆しているといえます。

HealthBenchの信頼性

　モデルベースの評価者がルーブリック基準を適切に評価しているかどうかを理解するために、医師にHealthBench Consensusの回答を確認し、回答がルーブリック基準を満たしているかどうかを評価してもらいました。これらの結果を用いて、「メタ評価」、つまりモデルによるルーブリック評価が医師の判断とどの程度一致しているかを評価する評価を作成しました。

　HealthBenchのグレーディングは医師のグレーディングと密接に一致しており、HealthBenchが専門家の判断を反映していることを示唆しています。モデルベースのグレーダーと医師間の一致率は、個々の医師間の一致率と同程度でした。

まとめ

　「HealthBench」は、AIが人間の健康を向上させるという目標に向けた重要な進展です。この評価基準は、AIモデルの能力を現実的かつ信頼性の高い方法で測定し、継続的な改善を促すことを目的としています。OpenAIは、HealthBenchの評価スイートと基礎となるデータを公開することで、研究コミュニティ全体の進歩を支援し、AIシステムが人類に利益をもたらす方向へ進むことを目指しています。

　最新のモデルは目覚ましい進歩を遂げていますが、特に未指定のクエリに対する必要なコンテキストの探求や、最悪の場合の信頼性においては、依然として大幅な改善の余地があります。

　本稿で紹介したHealthBenchは、AIと医療の未来を考える上で、非常に示唆に富む取り組みと言えるでしょう。AI技術の責任ある発展と応用が、私たちの健康と福祉に貢献することを期待します。