ARC Prize、GPT-6 AstraのARC-AGI-3評価を公開 — 標準条件で62.7%、人間より少ない手数で96%のレベルを解く

独立ベンチマーク機関のARC Prizeは、OpenAIの最新モデル「GPT-6 Astra」をARC-AGI-3で評価した結果を公開した。中立的な最小条件（Standardハーネス）では62.7%、プロバイダー側の文脈管理を活かす条件（Provider Adapterハーネス）では99.9%で、いずれも同ベンチマークのSOTAとしている。本サイトで紹介したGPT-6 Astraの提供開始に続く、第三者による独立評価の第一報にあたる。数値はすべてARC Prizeの公開評価に基づく。

出典: OpenAI’s GPT-6 Astra on ARC-AGI-3

スコアとコスト — 高い推論設定ほど安く済む逆転現象

• Standardハーネス: プロバイダー中立の最小インターフェースで比較する条件。Astra（max）はARC-AGI-3 Semi-Privateで62.7%、コストは26,098ドル。
• Provider Adapterハーネス: モデルの非公開の推論状態をリクエスト間で保持し、compactionで長い会話を管理する条件。Astra（high）は99.9%、コストは18,817ドル。
• 推論レベル別の内訳（Standard / Provider Adapter）: max＝62.7%・26,098ドル／98.6%・17,332ドル、xhigh＝59.3%・37,317ドル／98.4%・18,147ドル、high＝54.8%・40,705ドル／99.9%・18,817ドル、medium＝38.6%・48,090ドル／98.4%・19,285ドル、low＝17.5%・38,166ドル／98.0%・21,298ドル、none＝35.2%・49,791ドル／96.7%・23,457ドル。
• 逆転現象: 高い推論設定ほどゲームを少ない手数で解くため、モデル呼び出しとトークンの総量が減り、結果的にコストが下がるとしている。
• Provider Adapterの効率: PublicとSemi-Privateの両方で両ハーネスが解いた167のゲーム・推論レベルのペアを比べると、Provider Adapterは記録された経過時間の合計で約3.66倍高速、総トークンで49%減だった。
• 今後の表示方針: ARC Prizeは今後、リーダーボードにStandardとProvider Adapterの両結果を評価条件を明示して併記する。テスト手順とリポジトリはオープンソースで公開している。

人間との比較 — 手数では人間を上回る

• 人間ベースライン: ARC-AGI-3の公開前に約500人の一般参加者でテストし、クリア者の中央値の手数を各レベルの基準にした。参加者はパズル経験や能力で選抜していない。
• 結果: Provider Adapter条件のAstra（max）は、96.0%のレベルで人間の基準より少ないアクションで解き、レベル平均で51.7%少なかった。ARC Prizeは「行動効率における人間の到達を超えた」と位置づけている。
• コスト効率と行動効率の区別: 多くのベンチマークが測るのは計算資源の「コスト効率」だが、ARC-AGI-3が測る「行動効率」は環境との経験量（何手で学んだか）だと強調している。完了率だけではこの差は見えないとしている。
• 人間コストの参考値: 統制テストでは参加者に90分セッションあたり115ドル＋1ゲーム完了ごとに5ドルを支払い、1ゲーム挑戦あたり約12.78ドルだったことも開示している。脳のエネルギーだけを電力換算すれば1ゲームあたり約0.067セントになるという試算も添えている。

出典: OpenAI’s GPT-6 Astra on ARC-AGI-3

振る舞いの観察 — 独自記法と自作ツール

• 独自の代数的記法: Astraは持ち越す戦略メモの中で、物体・座標・ルール・未完の計画を記録し、環境ごとにその場で生み出した領域特化の略記法を使った。例として extend8 to3; retract10 to2 のような手順列や、操作と座標の対応表 9−=(39,4)、ターン数・位置・向きの組み合わせ Turn 5: P=(24,20), empty, facing west が挙げられている。完全なプログラミング言語ではなく、情報密度の高い shorthand と評している。
• PRO-LONGハーネスでの自作ツール: サンドボックスでコードを実行できる高度な条件では、ゲームごとに盤面パーサ、状態モデル、探索アルゴリズム、プランナ、永続メモなどのツール群を作った。迷路ゲーム tu93 では maze_solver.py に始まり combat_solver.py、patrol_solver.py、sync_state.py を追加し、予測と観測を照合していた。
• 評価条件の違いの留保: PRO-LONGの結果はモデルとツールの combined performance であり、コード実行環境を持たない人間の統制テストと同列には比べられないと明記している。なお、サンドボックスからの脱出を試みた証拠は観測されなかったとしている。

解釈の留保 — 飽和はAGIの証明ではない

• ARC Prizeの立場: Astraはフロンティア能力の明確なステップ変化であり、汎化への意味ある前進としつつ、「ベンチマークの飽和はAGI達成の証明にはならない」と明言している。ARC-AGI-3は決定論的で閉じた仕組みと目標しか持たず、現実世界の複雑さと開放性を表さないとしている。
• 次世代への問い: 再帰的な自己改善やオープンエンドな革新をどう評価すべきかなど、次世代ベンチマークの検討を進めている。Astraの進展は、どの能力が到達圏内に入り、どの問いが残るかを明確にするとしている。
• 読み手への注意: 今回の数値はARC Prizeの管理下での評価結果であり、OpenAI自身の公称ベンチマークとは条件が異なる。Provider Adapterの99.9%はプロバイダー最適化の文脈管理を前提とした値であり、中立条件の62.7%と区別して読む必要がある。

出典

• OpenAI’s GPT-6 Astra on ARC-AGI-3
• GPT-6 Astra results
• ARC-AGI leaderboard