StationeryBenchでGPT-6 Astraが両腕ロボット操作100試行中7件完遂 — 比較対象のMolmoAct2は0件、平均進捗は46対12

Robocurveは2026年9月10日、机上の文具を対象とする両腕マニピュレーション評価「StationeryBench」の比較レポートを公開した。OpenAIのGPT-6 AstraをInspect Robotsのエージェントポリシー経由で動かした場合と、Ai2の vision-language-action モデル MolmoAct2 を同一のYAM両腕で動かした場合を、5課題・各モデル100試行の計200試行で比べた内容だ。以下は公開レポートとGitHubリポジトリの記載内容の整理であり、効果の独立した検証ではない。

出典: GPT-6 Astra vs MolmoAct2 on bimanual robotic manipulation — Robocurve

評価の構成 — 5課題・200試行・人間採点

• 課題: マーカーのキャップ外し、クリップ箱から持ち上げたボウルへの注入、定規の空中受け渡し（左カップ→右カップ）、付箋3枚重ねから真ん中1枚の抜き取り、蓋付き箱からの消しゴム取り出しと蓋閉めの5件。いずれも日常的な机上文具で構成される。
• 試行数: 各課題につき各モデル20試行。合計でGPT-6 Astraが100試行、MolmoAct2が100試行の計200試行。
• 実施条件: 両腕はI2RT YAMアーム（片腕6自由度＋平行グリッパ）。観測は天井・左右手首の3カメラ（ポリシー入力は224×224）と固有受容感覚。Astra側はエージェントポリシー（medium effort、LLM呼び出し上限20回、速度上限25%、900ステップ上限）、MolmoAct2側は関節空間アクションチャンク（10Hz、1200ステップ上限）と記載されている。ハーネスはInspect Robots 0.58.0。
• 採点: 人間の採点者が各試行を0〜100点で評価。課題ごとに25点刻みの4マイルストーン（例: マーカー課題では「目的ある接触」→「把持」→「キャップ分離」→「分けて静置」）で、100点が指示の完全達成。集計図にはWilson 95%信頼区間（完遂率）とt分布95%信頼区間（平均）が付されている。

結果 — 完遂7対0、平均進捗46対12

• 全体: GPT-6 Astraは100試行中7件を完遂、平均進捗スコア46/100。MolmoAct2は100試行中0件完遂、平均12/100。レポートは平均進捗を「3.9倍」と表現している。
• 課題別（Astra 平均 / MolmoAct2 平均 / Astra完遂数）:
  • マーカーのキャップ外し: 62 / 25 / 20試行中5件
  • クリップのボウル注入: 51 / 18 / 0件
  • 定規の空中受け渡し: 46 / 16 / 20試行中1件
  • 真ん中の付箋の抜き取り: 34 / 0 / 20試行中1件
  • 箱からの消しゴム取り出しと蓋閉め: 34 / 0 / 0件
• コスト・トークン（Astraのみ記載）: 1試行あたりの出力トークンは約2,300〜3,200、推定コストは約1.21〜1.93ドル。定価ベースでキャッシュ割引なしと注記されている。
• 全試行の公開: 200試行すべてについて進捗スコア、終了理由（done / give_up / max_steps / overheat / operator_endなど）、出力トークン、トランスクリプト・動画・再実行データへのリンクを掲載している。

解釈と限界

• 公開元自身が挙げる制約: 採点はモデル名を知った状態での人手判断であり無意識の偏りの可能性がある。MolmoAct2は公開チェックポイント（allenai/MolmoAct2-BimanualYAM）のゼロショット実行で、本課題・物体へのファインチューニングなし。100試行中47試行で腕が開始姿勢から実質的に動かず（指令関節の可動域合計1rad未満）、付箋課題と箱課題の全40試行を含む。公開元はこれをパイプラインの問題ではなく、 bare table 上の小物体という場面が学習分布外だったためと推測している。
• その他の条件差: 両モデルが常に同一リグで実行されたわけではない。指示文は135〜297文字で、MolmoAct2が学習した短い命令より長い。物体は試行間に手作業でリセット。Astraはmedium effortのみの評価。動画は低解像度で思考中の停止時間は除去されている。
• 位置づけ: StationeryBenchはWorldEvalsの一部で、タスク定義とルーブリックはGitHubリポジトリで公開されている。ベンダー公称値ではなく第三者（Robocurve）による実施結果だが、査読付き論文ではなく、再現や別条件での検証は今後の課題である。

出典

• GPT-6 Astra vs MolmoAct2 on bimanual robotic manipulation — Robocurve
• robocurve/stationerybench — GitHub