VA-Bench：視覚デモ・能動知覚・メートル制御で身体的空間知能を測るベンチマーク

画像と言語を同時に扱うマルチモーダル大規模言語モデル（MLLM）は、画像中の物体位置や空間関係を問うテストで目覚ましい正答率を示しています。写真を見て「コップは皿の右にある」と言い当てられる様子を見ると、そのままロボットへ組み込めば自律的に物を片付けられるように思えるかもしれません。

しかし、空間を言葉で説明することと、三次元の現実世界で物理的な手を動かして目的を果たすことの間には、大きな隔たりがあります。物体を掴んで運ぶためには、陰に隠れた把持位置を見極め、見えなければ自ら覗き込み、手先を何ミリメートル動かし、何度回転させるかを正確な数値として決めなければなりません。さらに、動かした結果がわずかにズレていれば、即座に目視して修正する必要があります。静止画に対する空間推論で高得点を取れるモデルであっても、この「観察・推論・行動・修正」のサイクルを最後まで完遂できるとは限らないのです。

従来の評価手法では、この隔たりが捉えきれていませんでした。空間知能やロボット操作のベンチマークは、再現性を高めるために各機能を個別に切り出して測定することが多かったためです。

具体的には、あらかじめ用意された固定多視点の画像から位置関係を答えさせる「受動的な推論テスト」や、環境内を移動する「探索テスト」、あるいは正解の三次元座標や学習済み動作ヘッドを与えて動かす「操作テスト」のように分断されていました。操作の実験でも、言語指示を直接関節の動きへ変換する学習済みVLAポリシーや、事前定義された動作プリミティブに頼ることが一般的でした。

このような分断された環境では、モデル自身が「必要な視点を探しに行き」「数値として動作を決め」「失敗を見て直す」という一連の責任を負いません。要素ごとのテストで高得点を記録していても、一続きの閉ループで作業を成し遂げられるかを判断することは困難でした。

この状況は、「動画の料理見本から手順メモを作り、配置の違う台所で実際に調理する試験」に例えると理解しやすくなります。

人間が料理の手本を見るとき、ミリ単位の腕の軌道を丸暗記するわけではありません。「トングで肉を掴み、フライパンへ運び、蓋を被せる」といった構造化された手順を要約します。そして新しい台所に立ったとき、そのメモを手がかりに、どこにフライパンがあり、蓋の取っ手がどの向きにあるかをその場で確認し、距離感に合わせて自分の手を伸ばします。手元が見えにくければ少し覗き込み、掴み損ねたら掴み直します。

この、手本から得た抽象的な手順を新しい環境の配置へ当てはめ直す処理を、ロボット研究では「再接地（re-grounding）」と呼びます。ただし料理の例えと本研究が異なるのは、料理人の常識や味の判断ではなく、厳密に定義された物理課題の終了条件を満たせたかどうかという工学的な基準だけで合否が決まる点です。

VA-Benchは、一般目的のMLLMが、専用の動作学習なしに視覚デモから閉ループ操作を完遂できるかを測定するベンチマークです。評価はデモ処理と実行の2段階で進みます。

第一段階では、モデルに成功作業のRGB動画フレームが提示されます。モデルはここから、把持領域、アプローチの方向、左右の腕の役割などをまとめた構造化テキスト要約（手続き的文脈）を自ら作成します。この要約には、テスト場面の座標や正解の動かし方といった情報は含まれません。

第二段階では、初期配置が異なる新しい場面において、モデル自身が作成した手順要約を参照しながら逐次的に行動を生成します。各ステップでモデルは現在のRGB画像、フィルタ済みの自己受容情報、行動履歴、直前の指示が実行可能だったかの結果を受け取ります。過去の動きを再生するのではなく、現在の状態を見ながら判断を更新していく能力が試されます。

VA-Benchの核心は、視点選びとロボット操作を、同一のループ内でモデル自身が数値指定する点にあります。

手元が見えなければ、モデルは能動的にカメラを動かせます。手先を中心とする5つの意味的視点の選択、5 cmの平行移動、8 cmのズーム、10度刻みの角度調整が可能です。重要なのは、カメラ操作もロボット操作と同じ「行動予算（試行回数制限）」を消費する点です。無制限に確認し続けることはできず、いつ観察を終えて動かすかという判断が求められます。

ロボットの操作では、世界座標軸に沿う1〜100 mmの並進、手先局所軸周りの1〜90度の回転、グリッパー開閉を数値で直接指定します。一方、モデルには深度画像、三次元点群、物体マスク、正解の物体位置・姿勢、接触状態、正解把持点、カメラ較正値などの特権情報は一切渡されません。モデルは通常のRGB画像だけを頼りに、三次元の空間関係と移動量を推論しなければなりません。

本評価では、モデルが関節のモーター出力を直接計算するわけではありません。モデルの背後には、固定されたモデル非依存の実行コントローラが存在します。

この固定コントローラは、モデルが指定した数値目標に対して逆運動学を解き、手が届くかを判定して軌道を生成・実行する役割だけを担います。対象物や把持点、左右の腕の役割、経由点を選ぶような意味的判断は一切行いません。

この分離により、意味的判断や数値接地の責任をモデル側に集中させることができます。ただし、モデルの指示が届かない位置であれば差し戻されるため、測定される成功率はモデル単体ではなく固定コントローラを含むシステム全体の結果となります。なお、高水準の推論を行うVLMと低水準の学習済みVLAを組み合わせるような外部モジュール構成は、本評価の比較対象外です。

評価の再現性を確保するため、著者らは厳密な設計を採用しました。基本スイートは片腕11種、双腕3種の計14タスクファミリーです。各タスク20シード（計280シード）は、318の候補場面から専門家の手動操作で終端条件まで到達できることを物理シミュレータ上で事前確認したものです（試行候補に対する採用率は88.1%）。

主指標は、シミュレータの終端判定器がタスク達成を認めた割合を、タスクファミリーごとに等重みで平均するマクロ平均成功率です。途中の進捗は終端成功にはカウントされません。

補助指標として、対象定位、能動探索、空間関係、操作意味、計画、接触前分析、エラー検出、オンライン修正、失敗後調整という9つの軌跡レベル二値診断が記録されました。3名の注釈者による約3万件の判定で全員一致率は95.69%（Fleissのκ係数0.942）でした。ただし、この診断は表面化した破綻位置を示す観察記録であり、失敗原因を知覚や計画へ因果的に特定するものではありません。

著者らは12の主要モデル条件について、14タスク×20シードを3回独立して実行し、計840エピソードで評価しました。

その結果、最高成績を収めたQwen3.8-maxの3ラン・マクロ平均成功率は53.93%（試行ごとの幅は±3.17ポイント）でした。同条件の詳細な注釈ランでは、対象定位が100.0%、空間関係が78.9%と極めて高得点でした。つまり、対象を完璧に見つけ出し、位置関係を概ね理解できていても、厳密なタスク完遂は約半数にとどまるという明確な隔たりが確認されました。

なお、上位3条件の平均成功率の差は2.38ポイント以内で試行範囲も重なるため、著者らは確実な順位付けを主張していません。静的な空間理解の高さは、閉ループの物理作業をやり遂げる能力を保証しないという重要な事実が示されています。

モデルが自らカメラを動かす能動知覚の効果を確かめるため、著者らはカメラインターフェースのみを変えた対照実験を行いました。同一モデル、同一要約、同一シード、同一実行系を用い、毎ステップ固定の5方向画像を与える「受動5視点」と比較したものです。

Qwen3.8-maxの対応単一ランでは、能動条件が280試行中161件成功（57.50%）だったのに対し、受動条件は78件成功（27.86%）へと急落し、29.64ポイントの差がつきました。この能動条件の優位性は比較した4モデルすべてで共通しており、受動化による低下幅はGPT-5.6-solで22.14ポイント、Opus-5で23.93ポイント、Doubao-2.1で9.64ポイントでした。

ただし、この差が有益な視点を選べたことによるものか、5視点を一度に処理する負担や長大な視覚コンテキストによる弊害を回避できたためかは、現在のデータでは切り分けられていません。

基本タスクを解けたモデルであっても、環境の変化や作業の長期化には脆弱でした。

基本タスクの手順要約を再利用しつつ、物体の形状や箱の種類、配置を変えた7つの保持外変種では、GPT-5.6-solが対応基本タスクの80.00%から47.86%へ32.14ポイント低下し、Qwen3.8-maxも77.86%から67.86%へ10.00ポイント低下しました。形状や配置が変わった場面への手順の「再接地」が大きな難関であることが分かります。

さらに、5つの物体を順に配置する長期タスク（4つの要素スキル動画を手がかりとする）では、Qwen3.8-maxが100回の配置機会中61回、GPT-5.6-solが53回の部分進捗を見せたものの、20エピソードの厳密な完遂率は全モデルで0%でした。途中の小さな誤差が累積し、長期作業の成立を阻む実態が浮き彫りになりました。

本研究の結果を評価する際には、いくつかの前提と限界を踏まえる必要があります。

まず、本実験はRoboTwinというシミュレータ上の14基本タスクに基づくものであり、実世界のアームやカメラ、未知の物体に対するオープンセットの汎化性を証明したものではありません。能動カメラも離散的な視点操作であり、実機のカメラアームが抱える可動域の制限や衝突、連続的な移動時間、較正誤差は対象外です。

また、主要結果は各モデル自身が作成した手順要約を用いているため、要約作成能力、再接地能力、動作生成能力の影響が交絡しています。さらに、9つの軌跡診断は観察可能な破綻位置を記録したもので、知覚、計画、数値接地、固定実行系のどこが真の原因かを因果的に特定するものではありません。成功率もモデル単体ではなく固定コントローラやシミュレータを含む系全体の結果です。