［ニュース解説］Googleが「世界初の二重盲検AI評価」を実施——ベンチマーク不正を防ぐ暗号技術とは

2026-08-27

はじめに

　Google DeepMindは2026年8月27日、外部評価機関にテスト内容を知られずにAIモデルを検証できる「二重盲検AI評価」のパイロットを発表しました。シンガポールAI安全性研究所やOpenMinedと連携し、暗号技術でGeminiを検証したこの取り組みを本稿で解説します。

参考記事

タイトル: Piloting the world’s first double-blind AI evaluations
著者: William Isaac, Sol Messing, Kristian Lum
発行元: Google DeepMind
発行日: 2026年8月27日
URL: https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/

要点

Google DeepMindは、外部機関によるAIモデル評価で生じる「ベンチマーク汚染」問題に対応するため、暗号技術を用いた二重盲検評価のパイロットを実施した
シンガポールAI安全性研究所、OpenMined、AVERI、MLCommonsと連携し、Google CloudのConfidential Computing基盤上でGeminiのFlash Liteモデルを検証した
「Confidential Space」と呼ばれる暗号化された実行環境により、評価者はGeminiのモデル重みを閲覧できず、Google側も評価者のテスト内容を閲覧できない仕組みが構築されている
従来は評価者がテスト内容をモデル提供者に渡すか、モデル提供者が重みを渡すかというトレードオフが避けられなかったが、この方式ではその妥協が不要になる
サイバーセキュリティや政府機関向けなど、機密性の高い評価領域での活用が想定される取り組みである

詳細解説

なぜ「二重盲検」が必要なのか——ベンチマーク汚染という課題

　Googleは今回の発表を、受験生が試験問題を事前に見てしまう例えで説明しています。試験問題を事前に知った状態で満点を取っても、その結果は実力を正しく反映しません。AIモデルの評価でも同様に、モデルが評価用のテスト問題を事前に学習してしまう「ベンチマーク汚染」が起きると、スコアが実際の能力を正しく反映しなくなるという問題があります。

　この問題は、モデルの性能が上がるほど深刻になると考えられます。政策立案者や研究者、企業がAIベンチマークの結果を信頼して意思決定を行うためには、モデルが評価内容を事前に「覗き見」できない仕組みが欠かせないと思います。これまでもログを残さない運用や契約上の守秘義務によって評価内容の秘匿は図られてきましたが、技術的・暗号学的な保護を組み合わせることは、モデル評価の信頼性を高める上で大きな一歩だと考えられます。

二重盲検評価の仕組み——Confidential Computingが解決するトレードオフ

　Googleによれば、これまで高度な外部評価には避けられないトレードオフがありました。評価者がテスト用のプロンプトを提供元に渡せば、モデル提供者がテスト内容を事前に把握してしまうリスクがあり、逆にモデル提供者が重みを渡せば、知的財産が流出するリスクがありました。

　今回のパイロットでは、Google Cloudの「Confidential Computing」ポートフォリオに含まれる「Confidential Space」という暗号化された実行環境を利用することで、このトレードオフを解消しています。この環境内では、外部評価データとGoogleの商用モデルの両方が、それぞれの所有者以外からは閲覧できないことを暗号学的に証明できます。具体的には、評価者はGeminiのモデル重みを見ることができず、Googleも評価者側のテスト用プロンプトを見ることができません。

　Confidential Computingとは、データやプログラムを処理中も暗号化された状態に保つ技術で、クラウド上で機密性の高い処理を行う際に近年注目されている分野です。今回のケースでは、モデルとテスト内容という利害が対立する2つの機密情報を、同じ暗号化環境の中で安全に「出会わせる」ために応用された形だと考えられます。

検証パートナーと対象モデル

　今回のパイロットでは、シンガポールAI安全性研究所、プライバシー保護技術に取り組む非営利団体OpenMined、AVERI、そして業界標準の策定団体であるMLCommonsと連携し、Geminiの軽量モデルであるFlash Liteを対象に検証が行われました。

　外部機関とモデル提供者の双方の秘密を守りながら評価を行う手法自体は、今回が初めての試みではありません。OpenMinedはこれ以前にも、英国のAI安全性研究所とAnthropicとの間で、安全な実行環境(セキュアエンクレーブ)を使い、モデル提供者と評価者の双方の秘密を守りながら評価を行う実証実験を行っています。今回の取り組みは、こうした「相互秘匿」型の評価手法が、暗号学的な検証可能性を伴う形でさらに一歩進んだものと位置づけられると思います。

想定される活用範囲と今後の展望

　Googleは、この暗号学的な証拠がベンチマーク汚染を防ぎ、機密データを保護するのに役立つとしています。特にサイバーセキュリティ分野や政府機関による評価など、機密性の高い評価においてこの重要性が増すとしており、独立した組織がデータの主権やセキュリティを損なうことなく、高度なモデルを厳格に検証できるようになるとしています。

　この方式が広がれば、AI企業が知的財産を守りながら第三者機関の監査を受け入れやすくなり、結果としてAIモデルの評価そのものへの社会的な信頼が高まっていくのではないかと思います。一方で、暗号化環境の構築や運用には専門的な技術基盤が必要になるため、こうした評価がどこまで一般的な仕組みとして広がっていくかは、今後の展開を注視する必要があると考えられます。

まとめ

　Google DeepMindは、外部評価機関との間で互いの機密情報を守りながらAIモデルを検証できる「二重盲検AI評価」のパイロットを実施しました。ベンチマーク汚染への対策として、評価の信頼性向上に寄与する取り組みだと考えられます。サードパーティ評価の設計をめぐる動きは、過去記事でも整理していますのであわせてご覧ください。