VA-Bench：視覚デモ・能動知覚・メートル制御で身体的空間知能を測るベンチマーク

物の位置を正しく答えられるAIは、その情報を使ってロボットを最後まで動かせるのでしょうか。VA-Benchは、見えない情報を取りに行き、同じ空間の中で考え、動作を直すところまでを一続きで試します。

AIは、成功した作業の画像だけの動画から手順を文章にまとめます。新しい場面では、見る位置とロボットの移動距離、回転角度、つかむ手の開閉を自分で指定します。たとえば、箱の中が見えなければ視点を変え、物の位置を確かめてから手を数センチ動かす、という流れです。固定された別の仕組みは、その指示どおりに動けるかを確かめて実行するだけです。

著者らは14種類の基本課題を、各20場面、3回ずつ試しました。最も高い条件の作業成功率は平均53.93%で、回ごとの違いを表す幅は3.17ポイントでした。一方、注釈した1回では物を見つける診断が100.0%、位置関係の診断が78.9%でした。別の対応比較では、自分で視点を選べる条件が57.50%、決められた5視点を見る条件が27.86%でした（論文4.1節、5.1節）。

結果は物理法則を再現したコンピューター内の環境と、決められた課題、固定された実行の仕組みに限られます。診断から失敗原因を一つに決めることもできません。実物のロボットや未知の物でも同じ結果になるとは、この研究だけでは言えません。

見つける診断が高くても完遂率は約半分だったことから、ロボットを選ぶ場面では、画像の質問に答える力だけでなく、見る位置の選択、数値での動作、修正、最後までの完遂を分けて試すべきかもしれません。ただし、どの診断が実物のロボットの成功を予測するかは未確認で、まず固定された実行の仕組みと実機を対応させて確かめる必要があります。

画像を見て「物は右にある」と答える力と、その物をロボットで正しく扱う力は同じではありません。手を動かすには、隠れた部分を見る必要があるかを判断し、複数の見え方を同じ空間として理解し、距離や角度を決め、失敗しかけたら直す必要があります。VA-Benchは、この一連の流れを一般向けの画像と言葉のAIが担えるかを問います。

これまでの試験は、用意された静止画から位置関係を答える、空間を探索して高い段階の判断をする、物の正確な位置や専用の動作機能を与えて操作する、といった一部分を測ることが多くありました。そのため、説明できた情報を実際の動作に変えられるかは別に確かめる必要がありました。VA-Benchは、視点選びと数字によるロボット操作を一つの繰り返しの中に置きます。

身近な例なら、動画の料理見本から手順メモを作り、別の台所で実行する試験に似ています。AIは成功した作業の色つき動画から、どこをつかみ、どう近づき、左右の腕をどう使うかを文章にします。ただし、新しい場面の物の位置や正解の動かし方はメモに入りません。試験中は現在の画像、ロボット自身の状態、これまでの動作、直前の指示が実行可能だったかを受け取り、次の観察か動作を選びます。料理との違いは、ここで採点されるのが定められたロボット課題であり、人の柔軟な常識や味の判断ではない点です。

基本課題は片腕11種類、両腕3種類です。AIは手先を中心にした5種類の見え方を選び、少し横へ動かす、近づいて見る、向きを変える、といったカメラ操作も使えます。ただし観察にも動作回数の上限を使います。

ロボットには、世界に固定した方向へ1〜100ミリ動く、手先を基準に1〜90度回す、手を開閉する、という数値指示を出します。固定された実行の仕組みは、指示された位置へ行けるかを調べ、動く道筋を作りますが、対象物、つかむ場所、腕の役割、途中の目標は選びません。AIには奥行き画像、物の正確な位置や姿勢、正解のつかみ位置などを与えません。

14課題の各20場面は、専門家が実際に最後まで成功できることを事前に確認しました。主要な12条件は同じ場面で3回ずつ試され、1条件につき1回280件、3回で840件です。主な物差しは、最後の条件まで達した割合です。さらに著者らは、物を見つけたか、必要な視点を探したか、位置関係を理解したか、接触前に確認したか、誤りを見つけて直したかなど9項目と、途中の進み具合を記録しました。

最高条件の14課題平均成功率は53.93%で、3回の違いを表す幅は3.17ポイントでした。注釈した1回では、物を見つける項目が100.0%、位置関係が78.9%です。ただし上位3条件の平均差は2.38ポイント以内で、各回の範囲も重なったため、著者らは確かな順位を主張していません。

同じAI、手順メモ、場面、実行の仕組み、動作回数、合否判定をそろえた1回の比較では、視点を自分で選ぶ条件が161件中ではなく280件中161件、つまり57.50%に成功しました。固定5視点では280件中78件、27.86%で、差は29.64ポイントでした。他の3条件でも能動条件のほうが高い方向でした（論文4.1〜4.2節、5.1節）。

基本課題とは形や配置を変えた7課題では、GPT-5.6-solが80.00%から47.86%へ32.14ポイント低下し、Qwen3.8-maxは77.86%から67.86%へ10.00ポイント低下しました。5個の物を置く長い課題では、それぞれ100回分の配置のうち61回分、53回分まで進みましたが、20回の試行を完全に終えた条件はありませんでした。基本課題での成功は、変化した場面や長い作業の成功を保証しません。

試験はRoboTwinというコンピューター内の物理環境、固定された14基本課題、1種類の長い課題に限られます。能動と固定5視点の差も各AIにつき対応する1回の比較なので、役立つ視点を選べたためか、多数の画像をまとめる負担が減ったためかは分かりません。また各AIが自分で作った手順メモを使うため、メモの質、現在場面への当てはめ、動作づくりの影響を切り分けられません。成功率はAIだけでなく、操作方法、固定された実行の仕組み、コンピューター内の物理法則を合わせた系全体の結果です。

高い発見成績が完遂を保証せず、自分で視点を選べる条件が対応比較で高かったなら、導入前の試験も「画像を理解できるか」だけで終えず、必要な画像を取りに行けるか、数値指示が合うか、失敗後に直せるかを別々に見るのがよさそうです。さらに形や配置を変えた試験と長い作業も加えれば、基本課題への慣れを成功と取り違えにくくなるかもしれません。ただし、診断は失敗原因を証明せず、実機で何を予測するかも未確認です。判断に使う前に、実機との対応と、手順メモの条件を分けた試験が必要です。

この研究が区別するのは、「空間を説明できること」と「その空間で作業を完了できること」です。後者には、今の画像だけで足りるかを判断し、必要なら別の角度から見て、複数の画像を同じ場所の情報としてまとめ、手を何ミリ動かすかまで決める力が要ります。動作後に予想と違えば、見直して次の指示を変えなければなりません。

試験は、各課題に達成可能な場面が用意され、固定された実行の仕組みがAIの数値指示を動作に変えられる、という前提に立ちます。採用した280場面はすべて専門家が終端条件まで成功しました。318候補中280を採用した88.1%は、実際に試した候補の中での割合であり、あらゆる候補についての割合ではありません。

従来の試験には、用意された画像から物の位置関係を答えるもの、探索しながら空間について判断するもの、正確な物体情報や専用の動作機能を使ってロボットを操作するものがありました。しかし、それぞれを別々に測ると、画像から得た理解を数値の動作へつなぎ、失敗後に直せるかが見えにくくなります。

VA-Benchは一般向けの画像と言葉のAIに、視点選びとメートルを基準にした動作指示の両方を担当させます。専用に学んだロボット動作の仕組みと組み合わせる構成は対象外なので、その方式との優劣を示す研究ではありません。

料理の見本動画から手順メモを作り、配置の違う台所で同じ料理をする場面を考えると流れをつかめます。まずAIは、成功した作業の色つき動画から複数の場面を見て、つかむ場所、近づき方、左右の腕の役割などを文章にします。新しい場面の正確な座標や正解の動かし方は、その文章に含まれません。

実行中は、現在の画像、ロボットの腕や手の状態、過去の動作、直前の指示が可能だったか、動く道筋を作れたかを受け取ります。それを基に、次はカメラを動かすか、手を動かすか、回すか、開閉するかを選びます。料理の例と違い、この試験では味や人の常識は扱わず、決められた物理課題の終了条件だけを判定します。

基本課題は片腕11種類、両腕3種類です。AIが使えるカメラ操作には、手先を中心にした5種類の見え方、5センチの平行移動、8センチの近づき、10度ずつの横向き・縦向き調整があります。観察もロボット操作と同じ回数上限を使うため、何度でも無料で確認できるわけではありません。

ロボット操作では、世界に固定された方向へ1〜100ミリ移動し、今の手先を基準に1〜90度回し、手を開閉します。両腕課題では二つの腕を同時に動かす操作もあります。固定された仕組みは、指定先へ腕が届くかを確認して動く道筋を作ります。しかし、何をつかむか、どこをつかむか、どちらの腕を使うか、途中でどこを通るべきかは決めません。

AIには奥行き画像、点を集めた立体情報、物だけを切り分けた画像、物の正確な位置や向き、接触状態、正解のつかみ場所、途中の正解地点、カメラの正確な測定値を与えません。

主要な12条件は、14課題の同じ20場面を使って独立に3回試されました。したがって各条件は1回280件、3回で840件です。基本課題とは別に、物の形、箱の種類、配置を変えた7種類の試験と、5個の物を順に置く長い課題があります。形や配置を変えた試験では基本課題の手順メモをそのまま使いました。長い課題では完成した長期作業の見本ではなく、4種類の小さな技能の動画を手がかりにしました。

能動と固定5視点の比較では、AI、各AIが作った手順メモ、場面、ロボット操作、固定された実行の仕組み、動作回数、合否判定をそろえ、カメラの使い方だけを変えました。ただし各AIについて対応する1回だけの比較です。

主な物差しは、物理法則を再現する環境の判定が、最後の成功条件を満たしたと認めた割合です。部分的に進んでも、最後まで終わらなければ成功には入りません。長い課題では、厳密な完遂に加えて、5個の物のうち何個を正しく置けたかも数えます。

著者らは軌跡を人が見て、対象の発見、必要な視点探し、位置関係、操作の意味、計画、触る前の分析、誤りの発見、その場での修正、失敗後の調整という9項目も記録しました。29,232件の当てはまる項目で3人全員の一致は95.69%でした。ただし最も判断の揺れた項目では一致が87.38%で、票のまとめ方により個別の首位条件が変わります。診断は見えた行動を記すもので、原因を一つに決める検査ではありません。

最も高い条件であるQwen3.8-maxの14課題平均成功率は53.93%で、3回の違いを示す幅は3.17ポイントでした。注釈した1回では、対象発見が100.0%、位置関係が78.9%でした。高い途中診断が厳密な完遂へそのままつながらない結果です。上位3条件の平均差は2.38ポイント以内で試行範囲も重なったため、著者らは確かな順位を主張していません。

Qwen3.8-maxの対応比較では、能動的に視点を選ぶ条件が280件中161件、57.50%、固定5視点が280件中78件、27.86%でした。差は29.64ポイントです。能動条件から固定条件へ変えた低下は、ほかの3条件でも22.14、23.93、9.64ポイントと同じ方向でした。

形や配置を変えた7課題では、GPT-5.6-solが80.00%から47.86%へ32.14ポイント、Qwen3.8-maxが77.86%から67.86%へ10.00ポイント低下しました。長い課題では100個分の配置のうち61個分、53個分まで進んだ条件がありましたが、全条件で20回中の厳密完遂は0%でした（論文4.1〜4.2節、5.1節）。

カメラだけを変えた比較は、能動的な観察に価値がある可能性を示します。しかし、なぜ差が出たかまでは切り分けていません。必要な視点を選べたのか、固定5視点を一度にまとめる負担が大きかったのか、見る画像が長く積み重なった影響なのかは残ります。

また、主要条件では各AIが自分で作った手順メモを使います。失敗が、動画から作ったメモの悪さ、メモを現在の配置へ当てはめる失敗、数値動作を作る失敗のどこから来たかを分離できません。全課題と複数AIで、メモなし、人が作ったメモ、AI自身のメモを比べる必要があります。形や配置の変更での低下と、長期課題での部分成功・完全失敗は、短い基本課題の成功だけでは十分でないことを示します。

成功率53.93%をAI単体の能力と読むことはできません。これはAI、画像や命令の渡し方、固定された腕の実行の仕組み、コンピューター内の物理法則を合わせた系全体の結果です。固定実行側が難しい指示を退けたことや、環境内の動きやすさも結果に関わります。

能動条件の高さも、より賢い探索だけを意味するとは限りません。少数の関連する画像へ絞れた効果かもしれず、固定5視点側が多くの画像をまとめにくかった可能性もあります。診断の高さと成功の差も、特定の一箇所だけが原因だとは断定できません。知覚、計画、距離の決定、固定実行のどこが支配的だったかを調べる別の比較が必要です。

結果はRoboTwin上の物理シミュレーション、14の基本課題、7つの限られた変更、1種類の長期課題に基づきます。任意の物、別のロボット、別のカメラ、現実の測定ずれに広く通用するとは示していません。カメラ移動も選択肢として処理され、現実のカメラ用アームが届くか、ぶつからないか、連続してどう動くか、測定誤差がどう効くかは対象外です。

専用に動作を学んだAIと、より高い段階を考えるAIを組み合わせる方式も試していません。9診断は観察記録であり、失敗原因の証明ではありません。さらに長期課題は一つの組み合わせだけなので、長い作業全般が不可能だという結論には広げられません。

次に確かめるべきことは、能動観察の利点を生む部分の切り分け、手順メモの質と動作づくりの分離、診断項目が実機成功を予測するかの確認です。現実のカメラアームの制約や測定ずれを入れても利点が残るか、別の物・腕・課題でも形や配置の変化に耐えられるかも未回答です。

また、部分的には進めた長期課題で、途中の小さな失敗がどのように積み重なったのかを調べる必要があります。固定された実行の仕組みを共通にした比較と、専用の動作を学んだ仕組みを組み合わせた比較は、答える問いが異なります。両方を同じ成功条件で確かめて初めて、どの役割分担が有効か判断できます。

対象発見が100.0%でも平均完遂率が53.93%にとどまり、形や配置の変更では30ポイントを超える低下もあったという観察は、「見えて説明できるAI」をそのまま「動かせるAI」と扱わないための試験設計を促します。候補を選ぶ際は、見る位置、現在場面への手順の当てはめ、距離と角度、実行後の修正、長い作業を別々に確かめると、どこで不確かさが現れるかを比較しやすくなるかもしれません。ただし診断は原因を証明せず、成功率も固定実行系を含む系全体の値です。実務判断へ移す条件は、実機との対応試験、手順メモを分けた比較、異なる物やロボットでの再確認がそろうことです。

不完全なRGB観察から、モデルは不足情報を取得し、共通の空間座標へ統合し、数値行動へ接地して、結果から修正できるか。VA-Benchはこの観察・推論・行動・修正の全ループを問う。

モデルは成功デモのRGBフレームから構造化手順要約を作る。テスト時には現在画像、自己受容情報、行動履歴、直前の実行可否を受け、カメラ視点または並進・回転・開閉を指定する。固定コントローラは到達可能性確認と軌道実行だけを行い、対象や把持点は選ばない。

14課題、各20シード、3ランの主要評価で、最高条件のマクロ平均成功率は53.93% ± 3.17%だった。注釈ランの対象定位は100.0%、空間関係は78.9%であり、診断能力と完遂の差が残る。対応単一ランでは能動視点が57.50%、受動5視点が27.86%で、29.64パーセントポイント差だった（§4.1–4.2、§5.1）。

評価はRoboTwin、固定課題、固定実行層を含む系全体の結果である。診断は観察的で因果帰属を与えず、能動条件の優位が視点関連性、統合負荷、コンテキスト長のどれによるかも未特定である。実機やオープンセットへの一般化は示されていない。

高い定位診断が終端成功を保証しないなら、ロボット向けモデルの選定では静的QAを代理指標にせず、能動観察、数値接地、オンライン修正、保持外幾何を分けて測る設計が妥当かもしれない。ただし診断と実機成功の対応は未検証で、固定プランナーを含む結果でもあるため、実機との対応試験なしに採用基準へ昇格させるべきではない。

空間関係を言語で正しく答えることと、ロボットをメートル精度で動かして成功させることの間には複数の変換がある。モデルは欠けた視覚証拠を認識し、視点を取得し、異なる画像を共通座標へ統合し、操作対象と把持領域を選び、移動量と回転量を決め、実行結果に応じて更新しなければならない。VA-Benchの問いは、この連鎖を補助的な物体状態や学習済み行動ヘッドなしで完結できるかである。

既存評価は、静止画や提供済み多視点による空間推論、探索による空間信念や高水準判断、物体状態やモータープリミティブを利用する操作を個別に扱うことが多い。その構成では、知覚結果を数値操作へ変換する接地と、実行後の修正が別モジュールに隠れうる。VA-Benchは一般目的MLLMへ視点選択と直接メートル制御を同じ行動ループ内で要求する。一方、VLMと学習済みVLAを組み合わせるモジュール構成は比較対象外である。

標準条件は二段階で進む。最初にモデルが成功デモのRGBフレームから、把持領域、接近法、腕の役割を含む構造化テキスト要約を生成する。要約には機械可読なデモ行動、物体姿勢、接触ラベル、テスト場面の座標や正解軌道を含めない。次に新規シードで、その要約と現在観察を使って逐次行動を生成する。これにより模倣軌道の再生ではなく、手順を現在配置へ再接地する能力を試す。

各ステップの入力は現在のRGB画像、フィルタ済み自己受容情報、行動履歴、直前の妥当性判定と軌道計画結果である。能動カメラはグリッパー中心の5意味視点、5 cm平行移動、8 cmズーム、10度のyaw・pitch調整を提供し、カメラ操作も共通の行動予算を消費する。

操作出力は世界軸方向の1〜100 mm並進、現在のグリッパー局所軸周りの1〜90度回転、開閉である。双腕課題では同期並進と同期開閉も可能である。固定の逆運動学・軌道層はモデル指定目標の到達を試すが、対象、把持領域、腕役割、意味的ウェイポイントを選ばない。深度、点群、セグメンテーション、物体姿勢、接触状態、正解把持点、較正値もモデルに渡さない。

基本スイートは11単腕、3双腕の14ファミリーで、各20シードを用いる。採用された280シードは専門家の完全実行で成功可能性を確認済みである。主要12条件は同一シード上の3独立ランで評価され、各ラン280エピソード、各条件合計840エピソードとなる。

主指標はシミュレータ判定器による終端成功で、14ファミリーを等重みで平均する。補助的に、対象定位、能動探索、空間関係、操作意味、計画、接触前分析、エラー検出、オンライン修正、失敗後調整の9軌跡診断とサブタスク進捗を報告する。保持外評価は7対応単腕課題、長期評価は5物体配置20エピソードである。

Qwen3.8-maxの3ラン・マクロ平均成功率は53.93% ± 3.17%だった。同条件の注釈ランでは対象定位100.0%、空間関係78.9%である。上位3条件の平均差は2.38ポイント以内でラン範囲も重なり、著者らは信頼できる順位を主張しない。

カメラインターフェースだけを変えた対応単一ランでは、Qwen3.8-maxが能動条件161/280、57.50%、受動5視点78/280、27.86%で、29.64ポイント差だった。能動から受動への低下はGPT-5.6-solで22.14、Opus-5で23.93、Doubao-2.1で9.64ポイントとなり、4条件すべて同方向だった（§5.1、Table 4）。

保持外7課題ではGPT-5.6-solが80.00%から47.86%へ32.14ポイント、Qwen3.8-maxが77.86%から67.86%へ10.00ポイント低下した。長期課題では物体単位で61/100、53/100の進捗があったが、全条件の厳密エピソード成功率は0%だった。

このベンチマークが直接扱うのは、一般目的MLLMが視覚デモの手順を現在場面へ再接地し、限定された視点操作と直接メートル制御で物理シミュレーション課題を解く設定である。終端成功に加えて破綻が表面化した段階を記述したい比較、受動多視点と能動視点をそろえた条件で比べたい実験、保持外幾何や部分進捗を含む評価に適する。

実機安全性、任意のロボットや物体への一般化、学習済みVLAを含むシステム比較、診断からのモジュール別因果帰属には適さない。

能動・受動比較は4条件の対応単一ランであり、利得が視点の関連性、複数視点の統合負荷、視覚コンテキスト長のどれに由来するかを同定しない。各モデルが自身のデモ要約を使うため、要約品質、再接地、行動生成も分離されない。要約なしと専門家要約を全課題・複数モデルで比較する必要がある。

9診断は観察的で、知覚、計画、数値接地、固定実行層への因果帰属を与えない。結果はRoboTwin、有限の変種、単一の長期構成に限られる。能動カメラも離散操作であり、実カメラアームの到達性、衝突、連続軌道、較正誤差を含まない。終端成功率はモデル、インターフェース、固定プランナー、シミュレータ動力学の複合指標である。

定位100.0%と終端成功53.93%の併存、および能動視点の対応比較での優位は、静的空間QAをロボット性能の十分な代理にしない評価設計を支持する。実務では能動証拠取得、数値接地、オンライン修正、保持外幾何、長期完遂を分離して試験すると、モデルやインターフェースの選択を誤りにくくなる可能性がある。ただし診断は因果指標ではなく、実機成功との予測関係も未確認である。固定実行層との対応試験と要約条件の分離を先に行う必要がある。

VA-Benchが対象とする問題は、不完全なRGB観察から操作成功までの連鎖である。モデルは対象候補を同定し、証拠不足を認識し、追加視点を取得し、複数観察を共通空間へ統合し、意味的な操作を距離・角度へ接地し、実行フィードバックから次の行動を更新する必要がある。静的な対象定位や空間関係の正答だけでは、この連鎖の後半を保証しない。

評価は、候補シードが物理的に達成可能であること、固定実行層がモデル指定目標の妥当性と軌道を処理すること、終端判定器が課題成功を定義することを前提とする。318候補を実試行し、専門家の完全実行を持つ280シードを採用した。88.1%は試行済み候補内の条件付き採用率であり、候補生成分布全体の可解率ではない。

従来設定は、静止画・提供済み多視点による空間推論、探索下の空間信念や高水準判断、学習済み方策・物体状態・補助座標・モータープリミティブを用いる操作評価へ分かれることが多い。これらは個別能力を測れる一方、視覚証拠の選択から直接的な数値操作、失敗後の修正までの責任が単一モデルに残らない場合がある。

VA-Benchの位置づけは、一般目的MLLMに視点選択とメートル制御を同一ループで担わせ、固定層を意味選択から切り離すことにある。ただし、高水準推論を担うVLMと学習済みVLAを接続するモジュール構成は未評価である。共通VLA、明示的な指示インターフェース、対応する訓練・較正条件なしには両方式を比較できない。

コンパイル時に相当するデモ段階では、各モデルが成功実行のRGB動画から複数フレームを読み、把持領域、接近法、腕役割などを含む構造化テキスト要約を生成する。要約はテストシードの座標・軌道を含まず、デモ側にも機械可読行動、物体姿勢、接触ラベルを与えない。

実行時には、その要約を手続き的文脈として、新しいシードの現在観察へ再接地する。各ステップでモデルは現在RGB、フィルタ済み自己受容情報、行動履歴、直前の妥当性・軌道計画結果を受け、カメラ行動またはロボット行動を返す。実行後の観察が次の入力となるため、開ループ軌道再生ではなく逐次修正を評価する。

基本スイートは11単腕、3双腕の14タスクファミリーである。能動カメラの離散行動集合は、グリッパー中心の5意味視点、5 cm平行移動、8 cmズーム、10度のyaw・pitch調整からなる。カメラ行動は操作と共通の行動予算を消費するため、情報取得には機会費用がある。

ロボット行動は世界軸に沿う1〜100 mmの並進、現在のグリッパー局所軸周りの1〜90度回転、グリッパー開閉である。双腕課題では同期並進・同期開閉を追加する。固定の逆運動学・軌道層は指定目標への到達を試みるが、対象物、把持領域、腕役割、意味的ウェイポイントを決定しない。

モデルには深度、点群、セグメンテーション、物体座標・姿勢、接触状態、正解把持点、タスクウェイポイント、数値カメラ較正を与えない。この遮断により、数値接地の情報源をRGB観察と履歴へ限定する一方、固定プランナーの挙動は系全体の成功へ残る。

主要12条件は同一の20シードを用いる3独立ランで評価される。各条件は1ラン当たり14×20の280エピソード、3ランで840エピソードである。主要結果では各モデルが自身で作成したデモ要約を使う。

能動・受動比較は、同一モデル、そのモデル自身の同一要約、同一シード、ロボット操作、実行層、行動予算、判定器を一致させ、カメラインターフェースだけを変更する。受動条件は各観察時点で既定5視点を受け取るが、選択、並べ替え、追加調整はできない。この比較は4モデル条件について対応単一ランである。

保持外トラックは7対応単腕課題、各20シードで、基本課題の要約を再利用し、物体形状、容器・箱インスタンス、配置を変える。長期トラックは5物体配置20エピソードで、完全な長期デモではなく4原子的スキル動画を条件として使う。

主指標は物理シミュレータの終端成功判定で、14タスクファミリーの成功率をマクロ平均する。これは部分進捗を成功へ含めない厳格な指標である。長期トラックでは厳密なエピソード成功と、100個の配置機会に対する成功配置数を併記する。

9つの軌跡レベル二値診断は、対象定位、能動探索、空間関係、操作意味、計画、接触前分析、エラー検出、オンライン修正、失敗後調整を扱う。3人の注釈者による29,232適用項目で全員一致95.69%、Fleiss κは0.942だった。FG項目は全員一致87.38%、κは0.797で最も不確実性が高く、投票規則で個別順位が変わる。したがって診断は軌跡上の観察可能な破綻位置を記述するが、潜在モジュールの原因を同定しない。

Qwen3.8-maxの14課題・3ランのマクロ平均成功率は53.93% ± 3.17%だった。注釈対象ランでは対象定位100.0%、空間関係78.9%であり、知覚・関係診断と終端成功の間に大きな差がある。上位3条件の平均差は2.38ポイント以内でラン範囲も重なるため、著者らは信頼できる順位を主張していない。

能動・受動の対応比較では、Qwen3.8-maxが能動161/280、57.50%、受動78/280、27.86%で、差は29.64パーセントポイントだった。能動から受動への低下はGPT-5.6-sol 22.14、Opus-5 23.93、Doubao-2.1 9.64ポイントで、4条件すべて同方向である。

保持外7課題ではGPT-5.6-solが対応基本条件80.00%から47.86%へ32.14ポイント低下し、Qwen3.8-maxは77.86%から67.86%へ10.00ポイント低下した。長期課題ではQwen3.8-maxが61/100、GPT-5.6-solが53/100の配置に成功したが、全評価条件の厳密な20エピソード成功率は0%だった（§5.1、Table 5）。

主要な対応操作はカメラインターフェースの切替である。全4条件で方向が一致したことは能動視点の有用性と整合するが、単一ランであり機構分解ではない。関連視点を選べる利点、5視点の統合負荷、長い視覚コンテキストの負荷が交絡する。視点数と総画像量を一致させる追加条件がなければ寄与は分離できない。

別の交絡はモデル生成要約である。主要成功率には、デモからの手順抽出、現在場面への再接地、行動生成の三要因が含まれる。全課題・複数モデルにわたる要約なし条件と専門家要約条件がないため、失敗をいずれかへ帰属できない。

保持外低下は基本配置への依存を、長期トラックの0%厳密成功と非ゼロ部分進捗は誤差累積または終盤失敗を示唆する。ただし長期構成は1ファミリーのみであり、長期能力一般の測定とは言えない。

53.93%はモデル固有能力の純粋な推定値ではなく、モデル、プロンプトとインターフェース、固定プランナー、シミュレータ動力学、終端判定器からなるエンドツーエンド系の結果である。固定層は意味的選択をしないものの、到達可能性判断と軌道生成を担うため、成功・失敗へ影響する。

高い診断値と低い成功率の差も、診断以後の単一障害を意味しない。二値診断が捉えない数値誤差、複数の小さな誤りの累積、実行層との相互作用がありうる。能動条件の優位も、探索能力の改善ではなく入力選別による統合負荷の軽減という説明と両立する。観察ログだけではこれらを因果的に識別できない。

外的妥当性はRoboTwin、固定14基本課題、有限の7保持外変種、単一長期ファミリーに制約される。任意の物体、ロボット、カメラ、実世界較正へのオープンセット一般化は確立されない。能動カメラはシミュレータ内の離散操作であり、実カメラアームの到達可能性、衝突、連続軌道コスト、較正誤差をモデル化しない。

診断は観察的であり、知覚、計画、数値接地、固定実行層の因果寄与を推定しない。要約生成と実行も分離されない。学習済みVLAを含むモジュール構成は範囲外である。したがって、結果を実機安全性、一般的な長期能力、異なる制御構成の優劣へ直接外挿できない。

第一の課題は、能動視点利得の機構を、関連性、画像数、順序、コンテキスト長を統制した比較で分解することである。第二に、モデル自身の要約、専門家要約、要約なしを交差させ、手順誘導、再接地、行動生成の寄与を分ける必要がある。第三に、9診断が実機成功や保持外成功を予測するかを前向きに検証する必要がある。

さらに、実カメラアームの運動制約と較正誤差を含む条件、異なるロボット・物体・課題への移送、複数の長期構成が求められる。直接メートル制御とVLM–VLA型構成を比較するなら、共通の知覚入力、意味指示、実行層、訓練・較正条件をそろえなければならない。これらが、VA-Benchの観察をシステム設計判断へ結び付けるための未解決条件である。

定位100.0%と完遂53.93%の差、能動視点の対応比較での一貫した方向、保持外で最大32.14ポイントの低下は、評価契約を静的QAから閉ループの段階別試験へ変える根拠になりうる。すなわち、証拠取得、再接地、数値制御、修正、保持外移送、長期完遂を独立に観測する設計である。ただし現在の診断は因果的でなく、成功率は固定プランナーを含む複合指標で、実機予測も未確認である。採用判断へ使うには、要約条件を分離し、固定層との境界を記録し、実機上で診断の予測妥当性を確認する必要がある。

一般目的MLLMは、不完全なRGB観察下で不足証拠を能動取得し、共通空間フレームへ統合し、メートル行動へ接地して、実行フィードバックから修正できるか。

モデルはRGB成功デモから構造化手順要約を生成し、新規シードで視点と並進・回転・開閉を逐次出力する。固定のモデル非依存コントローラはIKと軌道実行のみを担い、対象、把持領域、腕役割、意味的ウェイポイントは選択しない。

14課題×20シード×3ランで、Qwen3.8-maxのマクロ平均成功率は53.93% ± 3.17%。注釈ランの対象定位は100.0%、空間関係は78.9%だった。対応単一ランでは能動視点57.50%対受動5視点27.86%、差29.64ポイントである（§4.1–4.2、§5.1）。

結果はRoboTwinと固定実行系を含むエンドツーエンド指標で、診断は因果帰属を与えない。有限の保持外変種と単一長期構成は、実機やオープンセット一般化を確立しない。

静的空間診断と終端成功の乖離は、ロボット向けMLLM評価を能動知覚、数値接地、オンライン修正、保持外移送へ分解する必要性を示唆する。ただし各診断の実機成功に対する予測妥当性は未確認で、固定プランナーも成功率へ寄与するため、実機対応試験なしに選定指標とはできない。

本研究は、空間QAや提供済み多視点下の推論ではなく、不完全観察からの証拠取得、共通フレームへの統合、メートル行動への接地、実行後修正を一般目的MLLMが一貫して担えるかを問う。対象姿勢、oracle軌道、学習済み行動ヘッドを排し、認識から実行までの乖離を終端成功で測る。

既存研究は、静的・受動多視点の空間推論、探索による空間信念や高水準意思決定、学習済み方策・物体状態・補助座標・モータープリミティブを伴う操作を個別に評価することが多い。VA-Benchの差分は、一般目的MLLMによる視点選択と直接メートル操作を同一閉ループへ置く点にある。ただしVLM–VLA型モジュール構成との比較は行わない。

デモ段階で各モデルはRGB成功動画の複数フレームから、把持領域、接近法、腕役割を含む構造化テキスト要約を生成する。要約はテストシードの座標・軌道を含まず、デモ側の機械可読行動、物体姿勢、接触ラベルも利用しない。実行段階では要約を現在シードへ再接地し、観察または操作を逐次選択する。

各ステップのコンテキストは現在RGB、フィルタ済み自己受容、行動履歴、直前の妥当性・軌道計画結果である。能動カメラは5意味視点、5 cm平行移動、8 cmズーム、10度yaw・pitchを提供し、操作と共通の行動予算を消費する。

操作空間は世界軸1〜100 mm並進、現在のグリッパー局所軸1〜90度回転、開閉で、双腕では同期操作を追加する。固定IK・軌道層は指定目標を実行するが、対象、把持領域、腕役割、意味的ウェイポイントを選ばない。深度、点群、セグメンテーション、物体姿勢、接触、正解把持点、較正値はモデルへ非公開である。

基本スイートは11単腕・3双腕、各20の専門家検証済みシードである。主要12条件は同一シード上の3独立ラン、各ラン280、各条件840エピソードで評価する。主指標はシミュレータ終端判定のタスクファミリー・マクロ平均成功率である。

補助評価は対象定位、能動探索、空間関係、操作意味、計画、接触前分析、エラー検出、オンライン修正、失敗後調整の9二値診断とサブタスク進捗である。さらに7対応単腕課題の保持外変種と、5物体配置20エピソードの長期トラックを持つ。

Qwen3.8-maxは3ラン平均53.93% ± 3.17%で、注釈ランの対象定位100.0%、空間関係78.9%だった。上位3条件の平均差は2.38ポイント以内でラン範囲も重なるため、著者らは信頼できる順位を主張しない。

カメラインターフェースのみを変えた対応単一ランで、Qwen3.8-maxは能動161/280、57.50%、受動78/280、27.86%、差29.64ポイントだった。他の3条件も能動優位と同方向で、受動化による低下は22.14、23.93、9.64ポイントである。

保持外ではGPT-5.6-solが80.00%から47.86%へ32.14ポイント、Qwen3.8-maxが77.86%から67.86%へ10.00ポイント低下した。長期構成では61/100、53/100の配置進捗がある一方、全条件の厳密成功率は0%だった（§5.1）。

本評価は、一般目的MLLMのデモ誘導、能動視点、直接メートル制御を固定実行層上で比較する用途に適する。終端成功だけでなく、破綻が観察された段階、保持外幾何への再接地、長期課題の部分進捗を記述できる。

実機安全性、任意のロボット・物体へのオープンセット移送、学習済みVLAを含むアーキテクチャ比較、診断ラベルからのモジュール別因果帰属は評価範囲外である。

能動・受動比較は4モデル条件の対応単一ランで、利得を視点関連性、複数視点統合負荷、コンテキスト長へ分解できない。モデル固有のデモ要約を用いるため、要約品質、再接地、行動生成も交絡する。9診断は観察的であり因果診断ではない。

外的妥当性はRoboTwin、有限の保持外変種、単一長期構成に限定される。能動カメラは実カメラアームの到達性、衝突、連続軌道コスト、較正誤差を含まない。終端成功率はモデル単体でなく、インターフェース、固定プランナー、シミュレータ動力学を含む系の指標である。

対象定位100.0%と終端成功53.93%の乖離、能動視点の対応比較での優位、保持外での最大32.14ポイント低下は、静的QAを選定代理にせず、証拠取得、数値接地、修正、幾何移送、長期完遂を独立に測る評価契約を支持する。ただし診断は因果的でなく実機予測も未検証であり、成功率は固定実行系を含む。専門家要約対照と実機対応試験を伴わない運用判断は条件付きに留めるべきである。

本稿の問題設定は、不完全RGB観察下のembodied spatial intelligenceを、対象位置の記述ではなく閉ループ操作成功として測ることである。必要な能力列は、証拠不足の検出、能動的観察取得、観察間の共通空間フレームへの統合、意味的操作のメートル接地、実行結果に基づく修正である。

評価は、候補シードの可解性、固定モデル非依存コントローラによる指定目標の実行、シミュレータ終端判定を前提とする。著者らは318候補を実試行し、専門家のready=true完全実行を持つ280シードを採用した。88.1%は試行候補内の条件付き採用率であり、候補プール全体の可解率ではない。

関連評価は、静止画・提供済み多視点による空間推論、探索下の空間信念・高水準意思決定、学習済み方策や物体状態、補助座標、モータープリミティブを利用する操作に分かれることが多い。これらでは視覚理解、行動接地、低水準実行の責任境界が異なり、空間QAの高得点が直接操作へ移るかを一つのプロトコルで観察しにくい。

VA-Benchは一般目的MLLMにactive perceptionとdirect metric controlを同じループで課す。一方、VLMが高水準指示を生成し学習済みVLAが実行するモジュール構成は評価しない。その比較には共通VLA、明示的指示インターフェース、対応する訓練・較正条件が必要である。

デモ処理段階で、モデルは成功実行のRGB動画から複数フレームを観察し、把持領域、接近法、腕役割などを含むstructured textual summaryを生成する。デモは機械可読行動、物体姿勢、接触ラベルを含まず、要約にもテスト場面のメートル解やoracle trajectoryを含めない。

テスト段階では、要約をprocedural contextとして新規シードへ再接地する。各ステップで現在RGB、フィルタ済み自己受容、行動履歴、直前のvalidity・motion-planning feedbackを入力し、カメラまたはロボット行動を出力する。次の観察で結果を確認するため、評価対象は開ループ再生でなくobserve–reason–act–reviseの反復である。

基本スイートは11 single-arm、3 dual-armの14タスクファミリーである。能動カメラ行動はグリッパー中心の5 semantic views、5 cm translation、8 cm zoom、10度yaw/pitch調整からなり、操作と同一のaction budgetを消費する。

ロボット行動空間は、世界軸方向1〜100 mmの並進、現在のグリッパー局所軸周り1〜90度の回転、グリッパー開閉である。dual-armではsynchronized translationとsynchronized gripper operationを追加する。固定IK・trajectory layerはモデル指定目標の到達可能性確認と軌道実行を担うが、対象、把持領域、腕役割、semantic waypointを選ばない。

モデルにはdepth、point cloud、segmentation、object pose、contact state、ground-truth grasp point、task waypoint、numeric camera calibrationを与えない。したがって意味的・数値的接地はモデル側に残るが、運動学的可否と軌道品質は固定層との合成結果になる。

主要12条件は同一20シード上の3 independent runsで評価される。各条件は1ラン当たり14×20=280、3ラン合計840エピソードである。主要条件は各モデル自身が生成したデモ要約を使用する。

active–passive比較では、モデル、モデル固有要約、シード、ロボット行動空間、実行系、action budget、判定器を一致させ、camera interfaceのみを変更する。passive条件は各観察点で既定5視点を受け取るが、選択、順序変更、追加調整は不可である。4モデル条件について対応単一ランを報告する。

held-out評価は7対応single-armタスク、各20シードで、基本課題要約を再利用しつつ物体形状、容器・箱インスタンス、配置を変える。long-horizon trackは5物体配置20エピソードで、完全タスクデモではなく4 atomic-skill videosを条件とする。

主要指標はシミュレータのterminal predicateによるタスク成功で、14ファミリーをmacro-averageする。各ファミリーを等重みとし、サブタスク進捗を終端成功へ混入させない。長期構成ではstrict episode successに加え、100配置機会中の成功配置数を報告する。

9 trajectory-level binary diagnosticsはtarget localization、active exploration、spatial relations、manipulation semantics、planning、pre-contact analysis、error detection、online correction、post-failure adjustmentを記述する。29,232 applicable itemsに対する3注釈者のunanimous agreementは95.69%、Fleiss κ=0.942だった。FGは87.38%、κ=0.797で最も不確実性が大きく、投票規則により個別首位条件が変化する。診断はobservable breakdown locationを記述するが、知覚・計画・数値接地・実行層の潜在原因を識別しない。

Qwen3.8-maxの14タスク・3ランmacro-average successは53.93% ± 3.17%だった。同条件のannotated runではtarget localization 100.0%、spatial relations 78.9%である。上位3条件の平均差は2.38ポイント以内かつrun rangesが重なるため、著者らはreliable rankingを主張しない。

active–passive対応比較でQwen3.8-maxはactive 161/280=57.50%、passive 78/280=27.86%、差29.64ポイントだった。activeからpassiveへの低下はGPT-5.6-sol 22.14、Opus-5 23.93、Doubao-2.1 9.64ポイントで、4条件すべて同方向である（§5.1、Table 4）。

held-out 7タスクではGPT-5.6-solがmatched base 80.00%から47.86%へ32.14ポイント、Qwen3.8-maxが77.86%から67.86%へ10.00ポイント低下した。long-horizonではQwen3.8-max 61/100、GPT-5.6-sol 53/100 placementsを達成したが、全条件のstrict episode successは0%だった（§5.1、Table 5）。

camera-interface interventionは、他の主要条件をそろえた比較としてactive perceptionの寄与を支持する。ただし各モデル1対応ランで、視点関連性、画像選択、multi-view integration load、visual context lengthが同時に変わる。方向の一貫性は頑健性の一部を示すが、機構同定には視点数、総画像量、提示順序を独立に統制する条件が必要である。

self-generated summaryも主要な交絡である。end-to-end successはdemonstration summarization、test-scene regrounding、action generationを合成する。全課題・複数モデルに対するno-summaryとexpert-summary対照がないため、どの段階が性能差を作ったかを分離できない。

held-out degradationはbase successがgeometric regroundingを保証しないことを示す。long-horizonのnonzero placement progressと0% strict successは部分技能と構成完遂の乖離を示すが、1 composition familyのみなので誤差累積一般の結論には不足する。

報告成功率はモデル能力の単独測定ではなく、モデル、prompt/interface、固定planner、simulator dynamics、terminal predicateの合成指標である。固定層が対象や意味的waypointを選ばなくても、IK feasibilityとtrajectory executionを担うため、モデル出力との相互作用が成功へ影響する。

高いtarget localizationと低いterminal successの差は、後段の単一ボトルネックを直接同定しない。二値診断が捉えない連続的なメートル誤差、複数段階の小誤差、実行系との相互作用がありうる。同様にactive advantageは探索方策の質だけでなく、関連画像への選別が受動5視点の統合負荷を軽減した結果とも解釈できる。現設計はこれらの説明を識別しない。

外的妥当性はRoboTwin、固定14基本タスク、有限7 held-out variants、単一long-horizon compositionへ限定される。任意の物体、ロボット、カメラ、real-world calibrationへのopen-set generalizationは確立しない。active cameraは離散的シミュレータ操作であり、physical camera armのreachability、collision、continuous trajectory cost、calibration errorを対象外とする。

診断は観察的で因果帰属を与えず、FGは集計規則への感度を持つ。要約生成・再接地・行動生成も未分離である。学習済みVLAを介したモジュール系は範囲外であり、direct metric controlとの優劣は導けない。したがって実機安全性、一般的長期能力、異種アーキテクチャの順位へ結果を外挿できない。

第一に、active advantageを視点関連性、視点数、提示順、コンテキスト長へ分解するfactorial controlが必要である。第二に、self-summary、expert-summary、no-summaryを交差させ、procedural induction、regrounding、action generationの寄与を識別する必要がある。第三に、9診断の保持外・実機成功に対する予測妥当性を前向きに検証すべきである。

さらに、物理カメラアームと較正誤差を含むactive sensing、異なるロボット・物体・カメラへの移送、複数long-horizon familiesが求められる。VLM–VLA型との比較では、共通VLA、明示的instruction interface、訓練・較正条件、terminal predicateをそろえる必要がある。これらを満たして初めて、VA-Benchで観察された乖離をアーキテクチャ選択や実機導入判断へ接続できる。

target localization 100.0%とmacro-average success 53.93%の乖離、active interfaceの全4条件で同方向の差、held-outで最大32.14ポイントの低下は、ロボット向けMLLMの評価契約を静的QAから段階別のclosed-loop validationへ移す根拠になりうる。具体的にはactive evidence acquisition、regrounding、metric control、online correction、geometry transfer、long-horizon completionを別々に観測する設計である。ただし現診断は因果的でなく、実機成功への予測妥当性もなく、成功率は固定plannerを含むend-to-end指標である。expert-summary対照、固定層の境界測定、実機対応試験を満たすまでは、この含意を選定規則ではなく検証仮説として扱うべきである。