Anthropic CEO Amodei氏、新エッセイ「We Must Pace the Frontier」でAI開発の減速を提唱 — 社員並み権限の外部評価者から始める3段階計画

AnthropicのCEOであるDario Amodei氏は2026年9月12日（協定世界時、ページの公開メタデータによる）、自身のサイトにエッセイ「We Must Pace the Frontier（フロンティアのペースを調整すべき）」を公開し、AIモデルの能力向上のペースを落とすべきだと提唱した。エッセイは「The stakes are too high for pacing to be an empty exercise — we need to use the time it gives us wisely.（ペース調整を空虚な取り組みにしないために — 得られた時間を賢く使う必要がある）」と述べ、減速で得た時間の具体的な使い道と3段階の実行計画を示している。以下はエッセイ本文の内容整理であり、提案の効果が実証されたものではない点に注意が必要だ。

なぜ今減速なのか — 得た時間を充てる4領域

• 2023年当時と今は違う: 一時停止や減速の議論は2023年にさかのぼるが、当時のモデルは世界でエージェントとして一貫して行動できるほど強力ではなく、欺瞞・操作・不正・サイバー攻撃も起こせなかったため、当時は意味をなさなかったと振り返った。今日の状況はまったく異なるとしている。
• 運用の卓越性（Operational Excellence）: 数千人・数百万チップ・史上最も複雑なインフラを伴う学習とデプロイでは、理論の不足ではなく実行上の問題で失敗が起きる。最近報告したアライメント事案も、破損した強化学習環境のフィルタリングの不完全さが一因だったという社内の証拠に触れ、減速はこうした実行の厳密さを高める時間を生むとした。
• アライメント: Claudeの憲法（Constitution）に組み込まれた原則に沿ってモデルを安全・倫理的・ガイドライン準拠で真に役立つものに保つ訓練は進展したが、能力の成長に追いつかせる必要があり、稀で予期せぬ望ましくない振る舞いが依然として現れるとした。
• 解釈可能性（Interpretability）: モデル内部を理解する科学は大きく進展し、出荷前監査で「脳のfMRIスキャン」のように振る舞いの根底理由の把握に使われている。調査中のアライメント事案で言語化されていない動機の検討にも用いたが、常に明確で信頼できる結果が出るわけではないとした。
• テストと評価: 能力が上がるほど評価の欺瞞が可能になり、深刻な問題を抱えながら整合的に見える恐れがある。1〜2年で大きく進められる領域として、評価群の拡充と解釈可能性によるクロスチェックを挙げた。

3段階計画 — 埋め込み型評価者から国際協調へ

• 第1段階: 埋め込み型評価者（Embedded Evaluators）: Anthropicが一方的に実施すると明言した施策。社内のリスク評価チームに相当する権限・ツールへの継続的アクセスを持つ外部レビューチームを招く。具体的にはオフィスの机・バッジ・社用 laptop、作業空間やツールへの同等レベルのアクセス、従業員との直接対話を含む。レビュー側はリスク水準・事案・慣行・付与されたアクセスに関する主要な知見を、Anthropicの編集統制なしに公表できる契約とし、Anthropic側は安全保障・法的秘匿・営業秘密・第三者の機密に限り狭く編集（redact）できるが、不利な知見を理由に編集はできない。編集で重要な内容が除かれた場合、レビュー側はその旨を公表できる。Amodei氏は他フロンティア企業にも追随を促した。
• 第2段階: 民主国家間の協調（Democratic Coordination）: 民主主義国内のフロンティア企業が共通の安全基準と、無制限な進展速度への上限を設ける。最も効果的なのは全米フロンティア企業を対象とする規制で、透明性と第三者監査に焦点を当てた法案への支持を改めて示した。立法には時間がかかるため並行して自主的な標準設定も進めるべきとし、独占禁止法上の懸念から政府の仲介や適用除外（waiver）が有用だとした。能力ベースの「チェックポイント」方式（例: サンドボックス回避能力Xには整合性Y・Zの認証を伴わせる）や、学習計算量・内部利用などの「材料」ベースの方式を検討対象に挙げた。
• 第3段階: 国際協調（Global Coordination）: 中国との協調を視野に入れつつ、検証の困難さを直視した4レベルを提示。レベル1は生物兵器の製造など狭く明確に危険な用途の禁止、レベル2はサイバー・生物・アライメントの急性リスクに関する出荷前テスト（国際標準機関経由）、レベル3は再帰的自己改善（RSI）の速度制限（SALT条約になぞらえる）、レベル4は開発速度全体の大幅制限・一時停止で、実現は近いうちには難しいとの見方を示した。
• 対中措置の位置づけ: 強力なAIチップや製造装置の不売却、密輸・中国国外データセンターへの遠隔アクセスの取り締まり、無断蒸留（distillation）の摘発、重み窃取の防止を挙げ、これらを3〜5年で米国のリードを広げる手段と位置づけた。これらはAmodei氏の主張であり、効果の独立した検証は今後の課題である。

解釈と限界

• 提案と実証の区別: 本稿の内容はすべてAmodei氏自身の提案・見解であり、埋め込み型評価者の運用実績、自主協調や国際合意の実現可能性、減速が安全性を実際に高めるかは検証されていない。
• 検証の難しさは本人も認識: レベル4の合意は監視回避による離脱の誘因が大きく、必要な検証への信頼水準が非常に高いため、近いうちの実現は難しいとエッセイ自体が述べている。
• 関連する既報との関係: Anthropicが直近に報告したアライメント事案や脅威レポートとは別件の政策提言であり、本サイトの既報（9月11日の脅威レポート記事など）とは対象が異なる。

出典

• We Must Pace the Frontier — Dario Amodei