Artificial Analysis、Intelligence Index v4.2を公開 — 新評価2種を追加し非公開テスト40%に倍増

第三者のAIモデル評価機関Artificial Analysisは2026年9月4日、モデルの総合知能指標「Intelligence Index」のバージョン4.2を公開した。同社は1月にv4を公開して以来、主要モデルのローンチ期間中は安定性のため更新を控えてきたが、ここ数週間のフロンティアの急速な動きに対応するため、v5の一部要素を前倒しする中間更新に踏み切ったと説明している。

今回の更新は、フロンティアの急速な動きに対応して指標の有用性を保つための見直しと位置づけられている。以下、一次情報である同社の発表記事に基づき変更点と結果を整理する。

変更点 — 新規評価の追加と非公開テストの倍増

• AA-Briefcaseを追加: 同社が内製したエージェント型知識労働の評価。非公開のheld-outテストセットを用い、業界専門家が構築した複雑なプロジェクト（複数週間に及ぶ、多数の連結タスクと数千の入力ソースファイル）を対象に、検証可能なタスク成功・分析品質・提示品質をルーブリック＋ペアワイズ評価で測る。
• GDP.pdfを追加: Surge AI製の単発プロフェッショナル文書読解評価。10ドメイン・100件のPDF（計4,592ページ）に分散した証拠（本文・表・図・脚注・除外条件）を統合し、1,275件の専門家作成の原子基準で採点。全基準を満たしたタスクのみ加点するAll-pass Rateを見出し指標とする。
• GPQA Diamondを除外: 科学的推論の代表的評価だったが「飽和した（saturated）」として除外した。
• 非公開テストの重みを40%に倍増: v4.1の2倍。AA-Briefcase、AA-Omniscience、CritPtの解法などがheld-outに含まれ、研究室による評価のゲーミング（対策的攻略）を困難にする。v5ではさらに引き上げる方針。
• 採点基盤の改善: AA-LCR v1.1に採点用システムプロンプトを追加し正答の誤り・曖昧さを修正。GDPval-AA v2とAA-Briefcaseはサンプリング改善とEloスケールの再固定で新モデル追加時の安定性を向上。SciCodeは採点サンドボックスを頑健化し、低速だが正しいコードを失敗扱いしないようにした。
• v4.2の構成: AA-Briefcase、GDPval-AA v2、τ³-Banking、Terminal-Bench v2.1、SciCode、Humanity’s Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。

主な結果 — Fable 5.1が首位、Astraはトークン効率で主導

画像出典: Announcing Artificial Analysis Intelligence Index v4.2 — Artificial Analysis

• 総合首位はAnthropicのClaude Fable 5.1: 2位のOpenAI GPT-6 AstraはGPT-5.6 Solから4ポイント上昇。研究室別ではAnthropic、OpenAIに次いでMetaが3位、SpaceXAI・Moonshot/Kimi・Z.AI・Googleが続く。
• コスト対タスクのPareto frontierは4研究室が共有: Anthropic、OpenAI、Meta、Z.AIが更新後のフロンティア上に位置する。
• GPT-6 Astraは出力トークン効率のフロンティアを主導: フロンティア近傍のほぼ全モデルよりトークン効率が高く、曲線の両端にClaude Fable 5.1、Grok 4.5、Gemini 3.5 Flash-Liteが位置する（指標25未満のモデルを除く）。
• AA-Briefcase: Claude Fable 5.1とOpus 5が先行し、GPT-6 AstraとMuse Spark 1.3が追走。GPT-6 AstraはGPT-5.6 Solから約85 Eloポイントの大幅上昇を示した。
• GDP.pdf: GPT-6 Astraが33.2%で首位、GPT-5.6 Solが28.2%、Claude Fable 5.1が26.2%と続く。OpenAI勢が文書読解で先行する形だ。

解釈と留意点

• ベンダー公称値との差異化: 今回の更新は、公開ベンチマークへの過剰適応を抑える方向の変更であり、独立評価としての信頼性向上を狙ったものだ。ただし評価設計自体はArtificial Analysisの選択であり、実務有用性の重み付けには同社の判断が反映されている。
• v5への過渡期: 同社はv5の開発を数か月続けており、今後も段階的なリリースを予定している。スコアの時系列比較ではバージョン差異に注意が必要だ。
• 数値の扱い: 上記の順位・スコアはすべてArtificial Analysisの公表値であり、独立した再現評価は今後の検証を待つ必要がある。

出典

• Announcing Artificial Analysis Intelligence Index v4.2 — Artificial Analysis
• Intelligence Benchmarking Methodology — Artificial Analysis