VLA-Rolling：未実行の行動列を再利用し、適応的なノイズ除去でロボット制御を効率化

視覚・言語・行動モデルであるVLAは、画像と言語の指示からロボットの行動を生成する。本論文が対象とするのは、未来の複数の行動を一つの列として出力する方式だ。この行動列を「行動チャンク」と呼ぶ。まとめて先を計画しても、その間に環境は変わりうるため、先頭の一部だけを実行して観測を更新し、再び計画する。

従来の実行方式では、このとき未実行の末尾を捨てる。新しい画像やロボットの状態を踏まえられる一方、末尾を作るために使った計算も引き継げない。論文の標準設定では、π0.5、SmolVLA、MolmoAct2は50個の行動を生成して10個を実行し、40個が未実行で残る。X-VLAでは30個のうち10個を実行し、20個が残る。VLA-Rollingが注目するのは、この残された部分だ。

対象モデルは、ガウスノイズから行動列へ向かう変換を学習するフローマッチング型だ。推論では反復的に行動を更新する。本論文はこれをノイズ除去と呼ぶ。通常の再計画は、新しいノイズからこの更新をやり直す。提案は、前回の末尾を、既にノイズ除去が進んだ中間状態として扱うことにある。

著者らはまず、LIBEROとMetaWorldの実演内で、観測を更新する前後の時刻を対応させた診断を行った。更新後の実演行動との誤差を比べると、末尾から始めたπ0.5は4回、SmolVLAは6回のノイズ除去で、ノイズから始める通常の10回処理と同等以上に達したという。これは末尾に再利用価値があるという根拠になる。ただし、実演との誤差を調べた結果であり、それだけでタスク成功率の改善を示すものではない。

再利用には逆向きの問題もある。末尾は前回の観測から作った予測なので、現在の状況に合わない行動が混ざりうる。著者らは既存の行動再利用法についても、低品質な行動に依存しすぎる危険を指摘する。再利用できるかどうかを、列全体で一律に決めるだけでは足りないという立場だ。

追加の計算回数も一律には決めにくい。同じ診断で、行動誤差が最小になる回数は、両モデルともサンプルごとに1〜10回へ分布した。少ない回数で済む例があっても、すべてを短い固定回数に揃える根拠にはならない。そこでVLA-Rollingは、末尾の各行動が現在も使える度合いを推定し、残す量と修正に使う計算量を一緒に調整する。

処理は、末尾の継承、信頼度の推定、信頼度に応じた修正の三段階で進む。まず、実行済みの先頭を除いた末尾を、新しい計画の時刻に合わせて並べ直す。新たに先を延ばす部分には、引き継げる行動がないためノイズを置く。

次に、約30MパラメータのTransformerが、末尾の各位置に信頼度を付ける。入力には現在の視覚情報、ロボット自身の状態、前回からのそれぞれの変化、継承した末尾、最後に実行した行動を使う。ここでロボット自身の状態とは、外の画像とは別に持つ自己受容状態を指す。前回の予測だけを見るのでなく、その予測を作ったときから何が変わったかも判断材料にする。

論文の実機課題では、配置直前に青い皿を茶色の皿へ交換する。この場合、引き継いだ行動がどこまで使えるかを、新しい観測を受けて見直すことになる。ただし、この例は学習済みの二つの条件間の切替であり、未知の対象を理解できることを意味しない。

信頼度推定器の教師データは、同じ実演軌跡から取った、実行区間だけ離れた二つの状態で作る。古い状態で固定したVLAに行動を生成させ、その末尾を更新後の時刻へ揃える。そして、対応する実演行動との二乗誤差を求める。実演からずれた行動ほど、再利用にはリスクがあると扱う設計だ。

誤差は対数に変換し、行動位置ごとの10・90パーセンタイルを基準に正規化して、信頼度の目標値にする。つまり、誤差の分布に対して相対的に良いか悪いかを学ぶ。学習では信頼度の過大推定への重みを2、過小推定への重みを1にして、使えない行動を信じすぎる誤りを重く扱う。

したがって、信頼度が高くても、その数値をタスクの成功確率として読めない。安全性を保証するように校正された指標でもない。また、基盤VLAを固定するとは、追加学習を一切しないという意味ではない。新たな推定器を実演データで学習する工程が必要だ。

信頼度が高い位置では、継承した行動を多く保持する。低い位置では、その行動に多くのノイズを戻す。これが再ノイズ化だ。古い予測への依存を弱め、現在の観測に沿って修正できる余地を作る。単に末尾をそのまま実行する仕組みとは、この点が異なる。

続いて、チャンク内で最も低い信頼度から、全体の追加ノイズ除去回数を決める。信頼できない行動があれば、その修正に必要な計算を確保する考え方だ。各位置で残す量は変える一方、追加回数はチャンク全体で決める。すべての行動が別々の回数だけ処理されるわけではない。

更新回数を減らすときも、元のVLAが使う一回分の時間刻みは維持する。末尾を途中まで進んだ状態とみなし、残った区間の更新を行うためだ。省いた回数を大きな一歩で置き換えるのではなく、既に進めた計算を引き継ぐという構成になっている。

主評価はπ0.5、SmolVLA、X-VLA、MolmoAct2と、四つのシミュレーションベンチマークの組合せだ。各モデルの通常推論を比較対象とする。LIBEROは40タスク各100試行、MetaWorldは50タスク各100試行、LIBERO-Plusは10,030タスク各1試行、RoboTwin 2.0はclean subsetの50タスク各100試行で評価した。LIBERO-Plusでは、VLAも推定器も元のLIBERO実演だけで学習している。

指標はタスク平均成功率と、1チャンクのモデル推論時間である。論文でCostと呼ぶ時間には、視覚・言語処理に伴うキャッシュ生成、行動のノイズ除去、追加推定器の処理を含む。追加機構の時間を差し引かずに比較している点は重要だ。一方、ロボットが動く時間を含むタスク完了時間は測っていない。

さらに、末尾継承だけの構成や、再ノイズ化を省いた構成との比較も行う。これは成功率の差を、単なる再利用と、信頼度に応じた修正に分けて検討する材料になる。ただし、主要表には成功率差の信頼区間や有意性検定がなく、小さな差をどこまで確かな改善と読むかには留保が必要だ。

著者らの報告では、全16組でチャンク推論時間が5.00〜32.52%短縮した。成功率は14組で上がり、改善幅は最大15.08ポイントだった。ただし、最大の成功率改善と最大の高速化は別の組合せである。

成功率の最大改善は、SmolVLAのLIBERO-Plusだ。成功率は20.74%から35.82%へ上がり、推論時間は130.90から120.97ミリ秒へ短くなった。15.08は成功率のポイント差であり、相対的に15.08%増えたという意味ではない。また、この評価は多数のタスクを各1試行で測る設計で、同じタスクでの繰り返し変動まで捉えた結果ではない。

最大の時間短縮はMolmoAct2のLIBEROで、291.34から196.61ミリ秒、32.52%減だった。論文が示す約1.48倍は、このチャンク推論のスループット改善を表す。同条件の成功率は95.50%から95.70%である。これをロボットの仕事全体が1.48倍速く終わるという意味に広げることはできない。

成功率が改善しなかったのはX-VLAの二条件だ。LIBERO-Plusでは66.04%から65.91%へ、RoboTwinでは60.68%から60.40%へ下がった。推論時間はそれぞれ136.80から121.93ミリ秒、131.09から96.99ミリ秒へ短縮した。時間短縮は一貫していても、成功率まで全条件で改善したとはいえない。

提案の中核を支えるのは、π0.5の構成要素比較だ。LIBERO-Plusで末尾継承だけを使うと、通常推論より成功率が4.89ポイント低下した。継承に適応的な回数調整を加えても、再ノイズ化なしでは4.29ポイント低下した。完全版では0.69ポイント上昇し、この比較表の基準に対する時間短縮は12.07%だった。古い予測を直せる状態に戻すことが、再利用の効果を左右するという解釈を支える。

最低信頼度で回数を決める設計にも代償がある。オフラインの軌跡評価では、平均や最大の信頼度を使う場合より行動誤差が小さかった一方、計算回数は多かった。最も不確かな行動を重視する判断は、計算を最大限削る判断とは一致しない。

AgileX PiPER 6-DoFによる皿交換課題では、通常推論の成功数14/20に対し、VLA-Rollingは15/20だった。成功率は70%から75%、チャンク推論時間は227.28から176.50ミリ秒になった。対象変更の付近で信頼度が下がり、追加回数が増える様子も著者らは報告している。

ただし、基盤のπ0.5は青・茶の皿への配置実演を各20軌跡使って事前に微調整され、その後固定されている。指示は色を指定しない。交換先は既に学習した条件であり、成功数の差も1試行分だ。この結果から、未知物体や未知環境への頑健性、安全性まで確認されたとはいえない。

環境変化への追従にも限界が見える。π0.5のLIBEROで観測更新までの実行長を延ばす分析では、平均最低信頼度は低下したが、大きな分布外変化では視覚変化と信頼度の関係が弱まった。変化を検知する仕組み自体が、学習範囲を超えても同じように働くかが次の論点になる。

適用を検討しやすいのは、未実行末尾が毎回残るフローマッチング型VLAで、対象モデルと実行長に合う実演の時刻対を用意できる場合だ。観測間で行動の一部が有効に残ることと、その有効性を推定できることが前提になる。追加学習を行えない条件や、継承する末尾のない方式へ、そのまま広げる根拠はない。

著者らも環境横断の汎化検証は限定的とし、追加のロボット形態や複雑な相互作用を今後の課題に挙げる。再現性にも未確認点がある。供給本文では信頼度校正の具体式と、追加回数の下限の実設定値を確認できず、完全な再現には追加資料が必要だ。

次に見るべき証拠は、未知条件での信頼度の誤推定、大きな変化が起きた際の通常推論への戻り方、そして繰り返し試験での成功率差である。加えて、チャンク時間の短縮がタスク完了時間にどこまでつながるかは別途測る必要がある。電力や金銭的費用の削減も、今回の指標からは判断できない。