ロボット方策評価分散実機ベンチマーク視覚・言語・行動モデル

RoboColosseum:機体と追加学習で変わるロボット方策の実機評価

実機評価の順位は、機体や追加学習の条件を変えても通用するのか

RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

論文の書誌情報と関連リンク

ポッドキャスト形式で聴く

約5分

AI生成の会話音声です。記事の要点を短くまとめています。

概要

ロボット方策の公開順位は、使う機体や追加学習の条件が変わっても頼れるのか。RoboColosseumは、各地の実機を共通の評価手順で結び、追加学習なしの比較と、同じ実演データからの適応を調べる枠組みだ。著者らは124拠点・5,699件の対比較を報告し、追加学習の前後や機体別のタスク群で順位の一致が弱いことを示した。完全成功がゼロでも、途中の進捗には差があった。ただし、条件間ではタスクや評価指標も異なる。順位逆転の原因を追加学習や機体だけに絞った実験ではない。

著者をもっと詳しく知る(全27名)

論文と確認可能な公式情報に基づき、著者の所属と研究背景を掲載しています。

全著者と所属

  1. Tan Sang Nguyen
    所属情報なし
  2. Yi Ru Wang
    所属情報なし
  3. Shailesh Shailesh
    所属情報なし
  4. Gang Yang
    所属情報なし
  5. Jiamo Hu
    所属情報なし
  6. Jianuo Jiang
    所属情報なし
  7. Haoquan Fang
    所属情報なし
  8. Zhongzheng Ren
    所属情報なし
  9. Zhongyi Luo
    所属情報なし
  10. Ian Chong
    所属情報なし
  11. Aaron Tung
    所属情報なし
  12. Santiago Pravisani
    所属情報なし
  13. Minghui Lin
    所属情報なし
  14. Yao Mo
    所属情報なし
  15. Ishneet Singh
    所属情報なし
  16. Benjamin Tee
    所属情報なし
  17. Harold Soh
    所属情報なし
  18. Siddhartha Srinivasa
    所属情報なし
  19. Dieter Fox
    所属情報なし
  20. David Hsu
    所属情報なし
  21. Haoming Song
    所属情報なし
  22. Maxime Ellerbach
    所属情報なし
  23. Thomas Wolf
    所属情報なし
  24. Pepijn Kooijmans
    所属情報なし
  25. Ruijie He
    所属情報なし
  26. Michael Cho
    所属情報なし
  27. Jiafei Duan
    所属情報なし

なぜ注目されているか

取得時点のHugging Faceでは50 upvotes、論文議論には2コメントが記録されています。関連GitHubリポジトリのスター数は、同取得データ上で4件です。

議論全体へのリンク

なぜ重要なのか

方策を選ぶ際、「総合順位の高いモデルなら、自社の機体でも追加学習後に強いはず」という見込みを見直す材料になる。一定量の実演を用意できるなら、対象の機体とタスクで適応後の性能まで確かめる判断が考えられる。また、成功率だけでは、失敗した試行で何ができていたかが消えてしまう。途中の到達段階を併記することは、改善対象を絞る助けになり得る。ただし、これらの判断が未評価の用途でも有効かは、今後の検証が必要だ。

この記事に出てくる言葉(6語)
方策

ロボットが観測や指示を受け、どの行動を取るかを決める仕組み。

この論文では

機体、タスク、環境、追加学習の条件を変えて性能を比較する対象。

VLA

視覚・言語・行動を扱うモデル。画像や言語の指示をロボットの行動につなげる。

この論文では

GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2の5方策を評価する。

DCR

成功結果とタスク難易度から方策の能力を推定し、順位を付ける指標。

この論文では

Open Trackの主順位指標。人間の難易度評定を手掛かりに、能力と難易度を同時に推定する。

PS

PS

各試行で満たした進捗基準の割合を、試行全体で平均した値。

この論文では

各基準は等重み。完全成功に至らない試行でも、途中まで進めた差を捉える。

SR

SR

試行全体に占める、タスクを完全に成功させた試行の割合。

この論文では

PSと併記し、部分的な達成と完全成功を区別する。

能動マッチング

順位の不確実性を減らせると見込むモデル対に、比較試行を重点的に割り当てる方法。

この論文では

モデル対の推定分散と既存の比較数を使い、一様に比較相手を選ぶ方法と比べる。

1. 読む前に知っておきたいこと

モデルの強さと現場の条件が重なる

ロボットの「方策」とは、観測や指示から行動を決める仕組みだ。その成績は方策だけで決まらない。機体、物体の初期位置、カメラ、照明なども結果を左右する。ある環境で得た順位が別の環境でも保たれるかを知るには、条件をそろえた比較と、条件を広げた評価の両方が要る。

たとえば、本研究に登場するノートパソコンのふたを閉じるタスクを考えたい。完全に閉じられたかだけを数えれば、途中で止まった試行はすべて失敗になる。しかし、接触したところで止まる方策と、ほぼ閉じるところまで進む方策では、できていることが違う。このタスクを手掛かりに、順位と成功率がそれぞれ何を捉えるのかを見ていく。

統制と多様性をどう両立するか

論文は、従来の評価方法の長所と範囲を整理している。シミュレーションは条件をそろえて反復しやすいが、実機との差が残る。標準化された実機ベンチマークや集中型のテストベッドは比較を支える一方、扱える環境や機体の範囲が限られる。分散型のRoboArenaは匿名の現地対比較を採用したが、論文によれば対象は単一のDROID/Franka機体だった。

RoboColosseumは、共有の方策配信基盤と標準手順で各地の実機を結ぶ。対象はSO-101、DROID構成のFranka、Bimanual-YAM、Unitree G1の4機体だ。観測と行動の仕様は機体内で統一し、オフィス、住宅、工場などで現地のオペレーターが試行とリセットを担う。全拠点を同じ環境にするのではなく、各地で比較条件を合わせながら環境の多様性を残す設計である。

そのまま使う能力と、実演から適応する能力

評価は二つに分かれる。Open Trackは、タスク固有の追加学習をせずに方策を比べる。Fine-tune Trackは、同じ実演データを与えた後の成績を測る。追加学習とは、ここでは対象タスクの実演を使って事前学習済みモデルを適応させることだ。両者は、使い始めの性能と、共通データから適応した後の性能を別々に問う。

評価対象のVLA、つまり視覚・言語・行動を扱うモデルは、GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2の5種類。Open TrackにはClaude Opus 5.5、GPT-6 Astra、Grok 4.7のAPIエージェントも参加する。エージェントは画像、関節状態、指示を受けて行動を返すが、自分で終了を宣言しても、それだけで成功にはならない。適応評価の対象はVLAのみである。

2. 手法と評価

現地で二つのモデルを比べる

Open Trackでは、評価者が現地の物体と環境を使ってタスクを定義する。モデル名を伏せた二つの方策を、同じ機体、指示、物体、初期設定、タイムアウトで連続して動かす。記録するのは勝敗や引き分けだけではない。進捗、自由記述、1〜10の主観的な難易度も残す。著者らが報告する収集規模は、2026年9月17日〜10月28日の124拠点、5,699タスクに対する5,699件の対比較だ。

この方法の統制単位は現地の一組の比較である。全モデルが全拠点でまったく同じ課題を解いたという意味ではない。特に、絶対的な成功率は各モデルが担当したタスクと機体の構成にも左右される。また、APIエージェントは通信の往復によってVLAより低い頻度で動作する。同じ比較内では制御ステップの上限を共通にしているが、動作頻度まで同一ではない。

難易度を考慮して順位を推定する

主順位指標のDCRは、成功しやすさを方策の能力とタスクの難易度の差で説明するRaschモデルを使う。能力が高いほど成功しやすく、課題が難しいほど成功しにくい、という関係だ。難易度は人間の評定だけで固定せず、成功結果から能力とともに推定する。その際、主観難易度の評定が高い群ほど、推定上の平均難易度も高くなる制約を置く。こうして得た能力の事後平均、つまり観測結果を踏まえた推定値で順位を決める。

表示はEloに似た尺度へ変換されるが、対戦のたびに点数を更新する逐次Eloとは異なる。比較用の順位指標としては、逐次Elo、平均対比較スコア、勝敗に加えて引き分けを扱うBTDモデルも使う。操作カテゴリ別のBTDでは進捗で勝敗を決め、平均能力の仮想システムに対する勝率に引き分け率の半分を加えた値を示す。これはタスクの完全成功率ではない。

さらに能動マッチングでは、初期比較の後、推定の不確実性と比較済み件数を見て次のモデル対を選ぶ。不確実性を大きく減らせると見込む対に実機試行を集中させ、同じDCR推定器の下で一様抽出と比較する。

共通の実演で適応を測る

Fine-tune Trackは各機体5タスク、計20タスクで構成される。初期設定、成功条件、タイムアウト、進捗基準をタスクカードに定める。各タスクについて、評価場所の同じ機体と環境で集めた100件の遠隔操作実演を全方策に共通提供し、各モデル・タスクに25試行枠を設ける。

ここでそろえるのは、実演データと評価条件である。適応はOpen Track用のチェックポイントからではなく、基本の事前学習済みモデルから始める。各モデルの公式実装と公式レシピを用い、最終エポックを評価するため、学習手順やスケジュールはモデルごとに異なる。同じデータを使った適応全体の実用的な比較であり、アーキテクチャだけの優劣を分離する設計ではない。

統一された条件の適応前後をそのまま追跡しているわけでもない。二つのトラックはタスク分布、開始チェックポイント、順位指標が違う。この違いは、後で順位逆転を解釈する際の重要な留保になる。

完全成功と、途中の到達を分ける

完全成功率のSRは、試行のうちタスクを成功させた割合だ。進捗PSは、各試行で満たした基準の割合を試行全体で平均する。基準は等重みで、一般には達成順序を要求しない。ノートパソコンの例なら、接触、途中までの閉鎖、ほぼ閉じた状態などの到達を分けて見ることで、同じ失敗の内訳を調べられる。ただし、PSは満たした基準の割合であり、残りの作業量や成功までの距離を直接表すわけではない。

安全上危険な試行は中止し、失敗・進捗ゼロとして扱う。適応結果の表2では、安全停止後の未実施枠もゼロにする。したがって、25試行枠があることと、25試行すべてを実施したことは区別が必要だ。

著者らは成功率と進捗の区間推定に加え、データの反復部分抽出で順位の不確実性も調べる。一方、人間による難易度評定や進捗判定、言語モデルによる操作カテゴリ分類の精度について、供給本文には定量的な検証値がない。指標を細かくするだけで判定の信頼性まで確定するわけではない。

3. 結果と限界

相対的に強くても、完遂は難しい

以下の数値は著者らの報告である。同じ現地条件で行ったエージェント対VLAの901比較では、進捗でエージェントが上回ったのが394件、VLAが上回ったのが265件、同点が242件だった。正規化した進捗の平均差はエージェント側に5.3ポイント。ただし、Claudeはプラス12.1、GPTはプラス11.0、Grokはマイナス7.5ポイントで、全エージェントが一律に優位だったわけではない。

相対順位と完遂能力も分けて読む必要がある。Open Trackの6操作カテゴリで、MolmoAct2の進捗ベースの期待比較スコアは、平均能力の仮想システムを基準とする50%に対して58〜77%だった。一方、同モデルの完全成功率は6〜13%。全評価システムのカテゴリ別成功率も13%以下だった。相手より先まで進めることと、仕事を最後まで終えられることには隔たりがある。ただし、絶対成功率の比較には担当タスクや機体の構成差も含まれる。

適応後の首位は、条件をまたいで続かない

100実演を使った適応後、各機体の5タスクを等重みで平均すると、SO-101の首位はGR00T N1.7で、PSは89.0%、SRは82.4%だった。Frankaではπ0.5がPS91.2%、SR84.0%、Bimanual-YAMでもπ0.5がPS97.2%、SR93.6%で首位となった。

5種類のVLAについて、Open TrackのDCR順位と適応後の平均PS順位のSpearman順位相関は、SO-101で−0.20、Frankaで−0.40、YAMで0.20。モデル対ごとに前後関係が一致したのは、それぞれ10対中4対、3対、6対にとどまる。π0.5はFrankaでOpenのVLA内5位から適応後1位へ、YAMで4位から1位へ上がった。適応後の4機体の順位一致を測るKendallの一致係数もW=0.24で、著者らは一致が弱いと報告する。

ただし、これを追加学習能力だけの差と結論づけることはできない。トラック間にはタスク、出発点、指標の違いがあり、機体間にもタスクと環境の差がある。また、YAMのLingBot-VLA v2のdrawerは1試行、GR00T N1.7のmicrowaveは9試行で安全停止した。表2の残枠ゼロ扱いと、付録図14の実施試行を分母にした表示を区別し、評価が途中で打ち切られた条件として読む必要がある。

成功ゼロの内側にも差がある

G1の適応評価では、5タスクすべてを通じて全5方策のSRが0%だった。しかし、5タスク等重み平均のPSは、G0.5の13.3%からLingBot-VLA v2の23.2%まで差があった。成功率だけなら同率でも、途中の基準をどこまで満たしたかは同じではない。

ノートパソコンを閉じるFrankaのタスクでは、この違いが具体的に見える。適応後の25試行で、G0.5はすべてで初期接触を満たしたが、24試行は半分閉じる段階に届かなかった。MolmoAct2は24試行でほぼ閉じる状態に達したものの、完全成功は7試行。π0.5は25試行でほぼ閉じ、完全成功は17試行だった。同じ失敗でも、止まる段階が異なる。

この観察は、成功率に基準別の到達状況を添える理由になる。ただし、等重みで数えた進捗が、用途上の重要度まで表すとは限らない。どの基準が改善の判断に役立つか、未評価タスクでも有用かは別途確かめる必要がある。

順位の安定は、評価範囲の内側で測る

順位の再現性にも機体差がある。Open Trackの拠点を重複しない二群へ反復分割すると、FrankaとYAMのモデル対の順序一致率は平均約85%、Spearman相関は0.82だった。SO-101は59%、相関0.30にとどまった。これは収集済みデータの内部分析であり、第三者による独立再現ではない。

試行配分では、全データのDCR順位に対する約90%の対順序一致に、能動マッチングは400〜500比較、一様抽出は約1,000比較で達した。同じ推定器を使う200回の反復比較による結果だ。別のランダム部分抽出では、平均一致率90%に約1,123比較、95%に約4,755比較を要し、部分集合間のばらつきも残った。これらが示すのは、収集済み全データの順位へ近づく速さであり、未知の真の順位への到達ではない。

本研究は各機体5タスクの適応評価を含む初期スナップショットで、モデルと機体の互換性によって評価範囲も異なる。対応機体と現地オペレーターを確保できる評価には参考になるが、未評価の機体や用途への順位は保証しない。次に注目すべき証拠は、評価範囲を広げても順位差が残るか、条件差を絞っても逆転が見られるかである。

この研究から考える

ここからは、論文の結果を踏まえた編集上の考察です。

観測されたのは、追加学習なしの順位が適応後の順位と弱くしか一致せず、π0.5のように大きく順位を上げる方策もあったことだ。ここから考えられる実務上の変更は、公開順位を選定の入口に使い、対象の機体・タスク・実演条件で適応後まで比較することになる。ただし、本研究ではタスク分布、開始チェックポイント、順位指標が同時に変わっている。再評価の必要性を考える根拠にはなるが、どの条件が逆転を生んだかは未確定だ。未評価の用途で同じ判断が役立つかも、対象条件での追加の証拠を待つ必要がある。

ホーム画面に追加する

  1. Safariでこのページを開く
  2. ページメニューから「共有」をタップ
  3. 「ホーム画面に追加」を選択
  4. 「Webアプリとして開く」をオンにして「追加」をタップ

追加後は、ホーム画面のアイコンからSingularity Lensを開けます。