Google DeepMind、世界初の“二重盲検”AI評価を試験導入 — 暗号化された検証環境でベンチマーク汚染を防止

Google DeepMindは2026年8月27日（UTC、同日12:59 UTCにRSS配信）、プロプライエタリなフロンティア級AIモデルに対する世界初の二重盲検（double-blind）評価のパイロットを発表した。著者はWilliam Isaac、Sol Messing、Kristian Lum。一次情報のブログ記事「Piloting the world’s first double-blind AI evaluations」および同日公開の技術レポートで詳細が示されている。

出典: Piloting the world’s first double-blind AI evaluations — Google DeepMind 図は軽量版として掲載。原図は同ページのダイアグラム（© Google DeepMind）。

何が発表されたか

• 発表内容: 外部評価データを暗号的な「箱」の中に閉じ込め、モデルが事前にテスト内容を学習してスコアを水増しする「ベンチマーク汚染」を防ぐための、二重盲検評価の試験導入。
• 対象モデル: Gemini Flash Lite を用いたパイロット。プライバシー保護環境（privacy-preserving environment）で、秘匿された外部ベンチマークに対する評価を実施。
• パートナー: Singapore AI Safety Institute、OpenMined、AVERI（AI Verification and Evaluation Research Institute）、MLCommons が共同で参加。
• 技術基盤: Google Cloudの Confidential Computing ポートフォリオ内の Confidential Space を利用。暗号的に検証可能な隔離環境（GPU Enclave）で評価を実行する。
• 公開物: ブログ記事に加え、手法と知見をまとめた**技術レポート（PDF）**を公開している。

仕組みと従来課題の解消

• 従来のジレンマ: 高リスクな外部評価では、評価者がテストプロンプトを提出するとモデル提供者に問題が事前露出するリスクがあり、逆にモデル重みを渡すと知的財産が露出するリスクがあった。
• 二重盲検の実現: Confidential Spaceにより、評価者はGeminiの重みを見られず、Google側も評価者のテストプロンプトを見られないことを暗号的に検証する。両者の資産がそれぞれの所有者にプライベートなまま保たれる。
• ワークフロー（図の要点・7ステップ）: AI OwnerとEvaluatorがGPU Enclaveを介して、モデルの投入・評価データの投入・隔離実行・結果の返却を相互秘匿のまま行う構成。詳細は技術レポートに記載。
• 狙い: サイバーセキュリティや政府機関向けのような機微な評価でも、データ主権やセキュリティを損なわずに独立機関が厳密にテストできるようにすること。

意義と留意点

• 信頼性の向上: ゼロログ化や契約上の保護に加え、技術的・暗号的な保証を上乗せすることで、評価スコアが真の能力・安全性を反映していることへの信頼を高める狙い。
• 政策・ガバナンスへの示唆: ブログは「このパイロットがモデル監視の新たなフロンティアを確立し、より安全で信頼されるAIシステムの構築に資すること」を期待すると述べる。国家AI Safety Institute等との連携は、AIガバナンスの実装例としても位置づけられる。
• 対象と限界: 今回はGemini Flash Liteでのパイロットであり、全モデル・全ベンチマークへの一般化や運用コスト、性能オーバーヘッド等の詳細は技術レポートの継続評価を要する。DeepMindは内部評価に加え、研究機関・市民社会・各国AISIら外部パートナーとの多面的評価を継続するとしている。
• 再現性・検証: 暗号的検証の監査可能性や、Enclave内外でのログ取り扱い、ベンチマーク自体の秘匿運用ポリシーなど、実装の詳細は技術レポートでの確認が推奨される。

出典

• Piloting the world’s first double-blind AI evaluations — Google DeepMind
• Double-blind evaluations technical report (PDF) — Google DeepMind
• Confidential Computing — Google Cloud