AI Evaluator Forumが第三者評価の基準「AEF-1」を公開 — 独立性・アクセス・透明性の最低条件5原則とチェックリスト

独立系AI評価機関の集まりであるAI Evaluator Forumは、第三者評価の運用条件に関する自主基準「AEF-1: Minimum Operating Conditions for Independent Third Party AI Evaluations（独立した第三者AI評価のための最低運用条件）」を公開した。評価の手法論ではなく、評価が信頼できる条件で行われたかを示すためのベースライン（独立性・アクセス・透明性）を定め、評価者が結果と併せて公表するチェックリストを備える。以下はフォーラムの公開ページと標準文書本文の内容整理であり、基準の実効性の独立した検証を示すものではない。

AEF-1の概要 — 5原則とチェックリスト方式

• 策定主体: AI Evaluator Forum。フォーラムの会員ページが示す参加組織にはMETR、RAND、Transluce、SecureBio、プリンストン大のHAL、GovAI、Epoch AI、Collective Intelligence Project、Meridian Labsなどが含まれる独立評価機関の集まりである。
• 文書: 全19ページの標準文書（Version 1、2025年12月4日更新）。Transluce、METR、SecureBio、スタンフォード大、プリンストン大、MIT、GovAI、Epoch AI、カリフォルニア大バークレー校などの所属を持つ著者らが執筆した。
• 5原則: 基準は以下の5つの原則と、各原則にひも付く具体的な達成条件（要求事項・推奨事項）で構成される。
  1. 十分なアクセスとリソース（Sufficient Access and Resources）
  2. 利益相反の最小化（Minimized Conflicts of Interest）
  3. 分析の自律性（Analytic Autonomy）
  4. 手法と結果の透明性（Transparent Methods and Results）
  5. 機微情報の保護（Protection of Sensitive Information）
• チェックリスト: 評価者は付属のチェックリスト（Appendix A）に記入し、評価結果と併せて公表することで基準への適合を示す。要求事項を文字通り満たせない場合は、別の手段で同じ原則をどう達成したかの説明を求める。すべてを満たさない評価でも、どの条件を満たし・満たさなかったかと理由の記録に使えるとしている。
• 対象範囲の限定: 科学的に妥当な評価手法そのもの（評価の設計・測定の妥当性など）は本基準の対象外であり、あくまで運用条件のベースラインであることが明記されている。探索的な共同研究など、独立性や透明性がさほど重要でない文脈の評価には適用しないとしている。

アクセス条件の中身 — クエリから重み・時間・セーフハーバーまで

• 技術的アクセス: 少なくとも、適時かつ柔軟なクエリが可能なオープンエンドのブラックボックスアクセス（Web UI・API）を必須とする。その上で、想定されるデプロイ構成（scaffolding）へのアクセス、評価を不当に妨げる安全対策の緩和・解除の検討、中間状態（activationsやreasoning traces）の観測・改変、ファインチューニング能力、外部共有される重みへのアクセス、ユーザーデータの検討などを評価内容に応じて挙げている。
• 情報共有: テスト対象のシステムとバージョンの特定、意図する振る舞い（モデル仕様・システムプロンプト）、学習過程や学習データ（テストセット含む）の情報、既存の内部評価結果、報酬ハッキングや汚染の可能性に関する知見など、信頼できる評価に資する情報の共有を推奨している。
• 計算資源と時間: 統計的頑健性のための複数回実行、探索的なプロービング、十分なクエリ・トークン上限を例示。時間は求められる確信度と新規性に見合うべきとし、実質的に新しいシステムや特性の評価では少なくとも20営業日を要することが多いとしている（EU行動規範の安全・セキュリティ章の付属文書の示唆とも整合すると記載）。
• セーフハーバー: 合意された評価範囲内の行為について、評価者が報復的な法的措置を恐れず善意で評価できるよう、プロバイダーによる法的セーフハーバーの提供を推奨している。前例として、OpenAIがGPT-5評価でMETRに与えた保証へのリンクを引いている。

政策との接続 — EU AI Officeの支持と各国法制への参照

• EU AI Officeの支持: フォーラムの公開ページによれば、EU AI OfficeはAEF-1の主要条項を、汎用AI行動規範（General-Purpose AI Code of Practice）の独立性条項にプロバイダーが適合するための手段として支持（endorse）している。
• 法制への参照: 標準文書の脚注では、チェックリストがEU AI法の行動規範（安全・セキュリティ章のMeasure 7.3(1)(g)）やカリフォルニア州SB 53に基づく第三者評価の詳細報告に使えることに触れている。
• 適用例: フォーラムは、Transluceのメンタルヘルス関連評価、METRによるGPT-5評価（2026年5月報告）、SecureBioの公開原則など、基準に沿って実施・記録された評価の事例を紹介している。
• 公開の文脈: フォーラムは2026年9月14日（協定世界時）の公式X投稿で、フロンティアAIの安全・セキュリティ主張を検証する「組み込み型の独立専門家」の重要性に関する最近の声明を歓迎し、信頼できる監視への第一歩と位置づけた。これはAnthropicのAmodei氏が9月12日に提唱した埋め込み型外部評価者の受け入れ（本サイト既報）と同じ方向の動きだが、各社の署名や参加の有無は一次情報で確認できていないため、本稿では断定しない。

解釈と限界

• 自主基準であり強制力はない: AEF-1は評価者が自発的に適合を示すための文書であり、遵守を強制する仕組みや認証制度を示すものではない。フォーラム自身も「AEF-1の成功にはフロンティア開発者を含む幅広い関係者の採用が必要」と述べている。
• 効果は未検証: 基準に沿った評価が実際に信頼性や市場の改善につながるかは、今後の採用実績と独立した検証が必要である。
• 一次情報の範囲: 本稿はフォーラムの公開ページ、標準文書PDF、フォーラムの公式X投稿の記載に基づく。各社の対応や規制当局の解釈の詳細は本稿の対象外である。

出典

• AEF-1: Minimum Operating Conditions for Independent Third Party AI Evaluations — AI Evaluator Forum
• Our Members — AI Evaluator Forum
• AEF-1 標準文書（PDF）
• AI Evaluator Forum 公式X投稿（2026年9月14日）