Reflex：視覚と全身制御を段階的に学び、人型ロボットが飛来する箱を受け止める

荷下ろしで、人から投げ渡された箱を受け止める場面を考える。箱の到着位置へ腕を出すだけでは足りない。全身を配置し、衝撃を吸収し、箱を支えたまま転倒を避ける必要がある。Reflexが扱うのは、この一連の箱捕球だ。荷下ろし全体の作業能力を検証した研究ではない。

視覚にも難しさがある。ロボットが動くと、胴体カメラも動く。画像内の箱の移動には、箱自身の運動とカメラの運動が重なる。腕が箱を隠すこともあり、届いた画像はすでに過去の状態を示している。見る、予測する、動く、保持するという能力を、接触までの短い時間に接続することが問題になる。

先行研究には、固定または移動するマニピュレータによる捕球、外部カメラやモーションキャプチャを使う人型ロボット、静止物体の全身運搬がある。これらは関連する能力を扱うが、自機搭載の視覚で動く物体を推定し、全身で受け止めて保持する条件を一度に満たすとは限らない。

Reflexは、色と深度を組み合わせたRGB-D画像を自機のカメラから使う。外部計測に頼る構成より、ロボット自身の動きや遮蔽が推定へ直接響く。そのため、単に画像で箱を見つける精度だけでは評価できない。推定結果を受け取る制御器が、遅れや欠測のある情報でも捕球を続けられるかが重要になる。

中心となるのは、物体の運動情報を8個の数値にまとめた「潜在表現」だ。潜在表現とは、学習によって作られる内部の要約である。8個の数値がそれぞれ位置や速度の一成分をそのまま表す、と決められているわけではない。

この要約を全身制御器の共通入力にする。先に物体状態から要約を作り、後から画像でも同じ要約を推定できるようにする。学習時に利用できるシミュレータ側の物体状態は「特権情報」と呼ばれる。実機が画像から得られる情報より豊富な教師役だ。ただし、入力項目に箱寸法を含めても、学習した要約や制御器が寸法を十分に使う保証はない。この区別は、異なる大きさの箱で結果を読む際に効いてくる。

第1段階では、画像ではなく物体状態を使い、強化学習で全身制御を学ぶ。強化学習は、試した行動の結果に応じた報酬から行動を改善する方法だ。ここでは、箱へ近づくこと、前腕で胸付近に支持すること、捕球を持続することに報酬を与える。人の動作をロボットへ対応させた参照動作への追従も組み合わせる。

物体観測にはノイズ、欠測、遅延を加え、接触やロボットの動力学も変化させる。保持状態から開始したり外乱を加えたりして、捕球後の回復も学ばせる。正確な状態を知るだけの制御器にしないための訓練だ。

第2段階では、この技能へ潜在表現の経路を接続する。位置、相対速度、向き、可視性、観測からの経過時間など26次元の情報を8次元へ圧縮する。遅延を含む25フレームの窓から最新の可視サンプルを選び、見えないときは運動情報をマスクする。古い観測を現在の確定情報として扱わないための構成である。

潜在表現を接続した直後は、元の制御器を教師として、その行動を再現するよう学ぶ。その後、運動情報を要約する側と行動を出す側を、捕球の強化学習で共同更新する。物体観測の遅延は20–60 msの範囲で変える。ここまで終えたら、両者を固定する。

第3段階では、画像から同じ潜在表現を推定する視覚モデルを学ぶ。まず箱の位置候補を画像上のヒートマップ、つまり位置ごとの確からしさとして検出する。そこから深度を含む幾何情報を取り出し、25フレームの履歴とカメラ自己運動を、過去の情報を扱う時系列モデルへ渡す。

教師となるのは、40 ms遅れの特権情報から得た潜在表現だ。視覚モデルはそれに近い要約を作り、固定済みの制御器へ渡す。位置と速度の予測も補助的に学ぶが、実際に制御を駆動するのは潜在出力だけである。箱を受け止める技能を、画像の学習と同時に探し直さない点が、この分解の核だ。

視覚を後から学ぶため、第2段階の強化学習では画像を描画する必要がない。著者報告では、RTX 3090上で5900万環境ステップを処理する時間は、画像なしで約35分、RGB-D描画ありで約11時間だった。前者は4096環境、後者は320環境を使う比較で、第3段階にも約160万描画ステップは必要になる。

これは学習時の負担を示す結果だ。実機の推論費用や反応時間が同じ比率で改善した、という意味にはならない。

視覚学習では、箱の色、画像、深度に変化やノイズを加える。また、検証、学習データを追加する回数の選択、最終評価には別のエピソードや投球を使う。学習した投球そのものへの適合と、別の投球での成功を区別するための条件である。

主要なシミュレーション評価は、3.0–3.5 mから34×26×22 cmの箱を投げる条件だ。6制御器をそれぞれ640投球、合計3840投球で評価する。成功は箱への接触だけではない。胸付近の支持と両側の手首を用い、頭や肩に頼らず保持し、0.6秒の低速状態を満たす必要がある。

箱を減速させる「迎撃」、38度の基準で判定する大きな胴体傾斜、転倒も別に測る。こうした指標を分けることで、接触できても保持できない場合や、捕球しても姿勢が大きく崩れる場合を見つけられる。

比較対象には、理想的な物体観測を使う状態ベース方策、特権情報からの潜在入力、別の初期化方法、検出器とKalmanフィルタの組み合わせを含む。Kalmanフィルタは、観測と運動予測を合わせて状態を推定する方法だ。同じ画像検出器を使う比較では、視覚検出の違いを抑え、時間情報の処理方法を比べている。

構成要素を外すアブレーションでは、視覚履歴とカメラ自己運動の寄与を調べる。中央への投球と横0.6 mへずれた投球を、5方策で比較した。これは6制御器による主要評価とは別の集計であり、成功率をそのまま混ぜて読むことはできない。

報酬を外す実験もあるが、共通の初期化から第2段階を学び直す比較だ。保持の報酬を外すと、中央／横ずれの成功率は88.6／76.1%から83.9／50.8%へ下がった。この結果は、既存の捕球技能を維持・拡張するうえで保持の学習が効くことを示す。技能を最初から獲得する際の必要条件を、単独で確定する実験ではない。

資料は著者報告であり、独立した再現実験ではない。主要評価は複数制御器を含む一方、距離や遅延などの比較には単一の学習済みモデルや単一の学習実行もある。結果ごとの評価範囲を見る必要がある。

著者報告では、主要評価の視覚捕球は3290／3840回、85.7%だった。制御器間の標準偏差は3.4ポイント。同じ制御器へ特権情報からの潜在表現を与えると87.9%、標準偏差3.2ポイントである。視覚への置き換えによる差が小さいことは示すが、特権観測と画像では視野の扱いが異なるため、完全に同じ入力条件の比較ではない。

元の行動を模倣する初期化は、位置・速度に関する重みを写す初期化の80.5%を5.2ポイント上回り、6組中5組で改善した。一方、同じ画像検出器と調整済みKalmanフィルタを使う比較では、学習された時系列モデルの平均優位は1.5ポイントだった。追加の5制御器では差は0.3ポイント、差の標準偏差は5.2ポイント。著者も両者を同程度と評価している。視覚から捕球できた成果を、従来の状態推定への大幅な優位と読み替えることはできない。

5方策の視覚アブレーションでは、完全な構成の成功率は中央85.2%、横ずれ66.6%だった。単一画像へ置き換えると49.6／26.8%となり、35.6／39.8ポイント下がった。自己運動を外すと74.8／44.0%で、低下は10.4／22.6ポイント。箱とカメラがともに動く条件では、画像の時間的なつながりが大きく寄与している。

ただし、視覚モデルが訪れる状態へ教師情報を追加するDAggerという学習法や、位置・速度の補助損失には、測定可能な改善がなかった。DAggerなしは86.2／67.6%、補助損失なしは85.0／70.3%で、改善は学習実行ごとの変動内だった。

26次元の全状態を直接予測する比較は66.5／47.1%と低い。しかし、その課題には見えにくい向き、角速度、寸法の予測も含まれる。潜在表現という学習目標だけが優れている、と効果を切り出せる比較ではない。

実機Unitree G1の捕球率は2.5／5／7 mで65／40／15%、各条件20試行だった。人3名による各条件合計60試行では85.0／68.3／28.3%。G1は2.5／5 mで人の成功率の76／59%に相当する。これは成功率の比であり、ポイント差ではない。比の95%区間は54–107／33–103%と広く、実機成功率自体の区間も最大で約±20ポイントに広がる。

通常の視覚学習は3.0–3.5 mの投球で、5・7 mでは速さも学習範囲を超える。単一モデルのシミュレーションでは、5／7 mの視覚成功率43.0／13.3%が、視覚学習範囲を2.5–7 mへ広げると75.8／36.7%へ改善した。同じ距離の特権入力は79.7／41.6%。視覚側のデータ範囲が一因だと考えられるが、改善版の実機評価はない。

遅延にも敏感だ。単一の学習実行による比較では、追加視覚遅延0 msの88.4%が、60 msで72.7%、120 msで32.3%となった。教師情報にはすでに40 msの遅れがある。実機で報告された露光から制御までの中央値69.1 msは、検出器とKalmanフィルタを使う別構成の値で、Reflexの視覚モデルの実測ではなく、作動遅延も含まない。画像生成も動きによるぼけ、露出の動的変化、構造的な深度誤差を省いており、シミュレーションを実機へそのまま対応させられない。

異なる箱寸法では、接触と保持の差が目立つ。単一モデルの各640投球で、小箱は迎撃58.1%に対して捕球25.5%、大箱は迎撃86.1%に対して捕球39.7%だった。制御器は実質的に箱寸法を十分に利用していない。箱を捉えて減速させても、その形に合った保持へ移れない場合がある。

高い捕球率も姿勢安定を保証しない。6視覚制御器の大きな胴体傾斜の発生率は1–72%に広がった。捕球率91.7%のモデルで傾斜の発生率が72%、別の捕球率86.2%のモデルでは1%だった。捕球率だけで選ぶと、この違いを見落とす。

別の下流デモでは、捕球後に保持と姿勢・速度を確認し、運搬用の制御へ移す。20試行の累積成功率は捕球65%、運搬後35%、受け渡し後30%、帰還後25%だった。各段階単独の成功率ではない。Reflexは、特権状態や参照動作を利用できる箱捕球研究に適した設計候補だが、異なる寸法、高速投球、捕球後の連続作業、別の反応技能で高い信頼性を期待するには追加の証拠が必要になる。