WROP：世界モデルに物体の永続性と固体性を学習させる

動画モデルが自然な質感や滑らかな動きを生成できても、映像内の状態を一貫して保てるとは限らない。たとえば、球が板の後ろへ入り、しばらく見えなくなってから反対側へ出る場面を考える。物体永続性が保たれていれば、隠れている間も球の個数、同一性、位置のつながりが維持される。ところがモデルは、球を消したり、別の球として出現させたりし得る。

もう一つは固体性である。同じ球が壁へ向かう場面なら、壁をすり抜けず、接触後の動きが整合する必要がある。遮蔽中の追跡と接触時の運動は、どちらも「物理的に自然」に見える映像へ関係するが、必要な能力は同一ではない。WROPはこの二つをそれぞれ三群、合計六つの認知課題群へ分けた。以後の球と板の例は仕組みを理解するための縮図であり、実写の複雑な環境まで再現するものではない。

著者らが問題視するのは、既存の動画推論研究が2D環境や画像から動画への生成に偏り、3D環境で動画の続きを作る能力を大規模に訓練・評価しにくかった点である。課題ごとのサンプルや訓練用分割が小さい場合、弱点を診断できても、その能力を直接訓練する材料になりにくい。また、自動判定に使われる視覚言語モデル自体が物理認知を誤る可能性もある。

WROPの狙いは、曖昧な「物理理解」を一つの点数にせず、何が隠れ、どこへ動き、何と接触するかを制御できる課題へ落とすことにある。著者らの報告では、基盤は150個の自己完結型Blender生成器で、各生成器が1万件の訓練サンプルと2問の試験を担う。合計は150万件と300問になる。

各生成器では、課題の答えを左右する「構造パラメータ」と、見栄えだけを変える「表層パラメータ」を分離する。前者には物体数、軌道、遮蔽、開口部の寸法、接触時刻などが含まれる。後者には色、材質、照明、視点などが含まれる。球が板の裏を通るという関係は保ちながら、色やカメラ位置を変える発想である。これにより、特定の外観を暗記するのではなく、課題の構造を学ばせることを狙う。

ただし、ここでの運動は物理エンジンによる自律的なシミュレーションではない。作者がBlenderのキーフレームと解析的に作った軌道で定義している。代表サンプルは生成器ごとに手動確認されたが、公開文面には全150万サンプルの物理妥当性を独立検証した証拠は示されていない。統制しやすさと、現実の物理を忠実に再現していることは分けて考える必要がある。

各サンプルは120フレームの映像で、物理的な出来事が始まる位置を境に、60フレームの入力と60フレームの標的へ分けられる。保存されるのは入力映像、標的映像、自然言語プロンプト、軌道、メタデータの五要素である。学習時には前半を条件として与え、後半に起こるべき展開を予測させる。

球が板の後ろへ入り始めるところまでを見せ、隠れた後にどこから現れるかを生成させる、と考えるとよい。標的映像は期待される続きを示すため、単に次の画面を滑らかにつなぐだけでなく、見えない間の状態を保持する必要がある。元サンプルは1280×720、24fpsだが、PWM-WROPの訓練・評価形状は57条件フレーム、60予測フレーム、320×192である。

PWM-WROPは16Bモデルである。著者らはCosmos3-Nanoのアーキテクチャとトークナイザーを維持し、WROPの150万サンプルを1エポック使って微調整した。研究上の中心は、新しいモデル構造を提案することより、認知課題を明示したデータで既存の動画世界モデルを訓練したときに何が変わるかを見ることにある。

重要なのは、WROPが物体追跡だけを扱っていない点だ。遮蔽後の同一性や位置を問う群に加えて、落下、障壁、衝突など固体間の関係を問う群を置く。この分割によって、総合点が上がったとしても、どの種類の整合性が改善し、どこが残ったかを調べられる。

試験は300問で、対象は動画継続4モデル、参照動画生成3モデル、編集・転送7モデルの計14モデルだった。統一した推論手順では、各モデルに入力映像と同じ自然言語プロンプトだけを渡し、正解となる標的映像は秘匿した。

主評価は20人による盲検一対比較である。評価者の選択をBradley–Terryモデルで集約し、平均1500のElo尺度へ変換した。これは、二つの候補を直接見比べた選好から相対的な強さを推定する方法であり、物理法則への適合率そのものではない。異モデル間の判断は361件で、信頼区間は評価者単位の1000回のブートストラップから算出された。モデル名を隠すことで先入観を抑える一方、評価者が何を良いと感じたかには、物理的一貫性だけでなく見た目の品質も影響し得る。

著者らは、予測区間を60フレームへそろえ、320×192で標的映像と比較する全参照指標も用いた。LPIPSは知覚上の差が小さいほど低く、MS-SSIMは構造上の類似が高いほど大きい値になる。ただし、両者が測るのは標的への近さであり、物体永続性や固体性の正しさそのものではない。

たとえば編集モデルが場面をほぼ静止したまま描き直せば、必要な衝突や落下を生成していなくても、一部の参照指標で有利になり得る。このため論文は、人間の一対比較を主指標、全参照指標を補助診断として扱う。評価設計は一つの数値への依存を避けているが、人間評価にも方式間比較の交絡が残る。

著者らの報告では、PWM-WROPのEloは1679.5、95%信頼区間は1603.5～1781.5だった。動画継続モデルでは1位で、次点のGrok Imagineは1457.0だった。14モデル全体では、各1723.6のWan 3.0 PrimeとMiniMax H3に続く3位である。

これはPWM-WROPの出力が比較で高く評価されたことを示す。しかし、WROP訓練が順位差を生んだとまでは示さない。WROPで訓練されたのはPWM-WROPだけで、他モデルはアーキテクチャも異なる。さらに、参照動画生成モデルは入力の続きを厳密に保つだけでなく、場面を独自の時間軸で再生成できる。動画継続、参照動画生成、編集・転送では入力との関係が違うため、全体順位は同条件の純粋な能力比較ではない。

課題群別では、PWM-WROPは六群のうち、順に3位、1位、3位、5位、2位、8位だった。著者らの分類では、静的物体の遮蔽で1位、物体落下で2位となる一方、物体衝突では8位だった。つまり、総合3位という結果だけでは見えない偏りがある。遮蔽後の状態保持で上位でも、接触後の運動まで一様に強いわけではない。

ただし、課題群別の順位を細かく読みすぎるべきではない。とくに固体性の各群は36～44 gamesと標本が少なく、ブートストラップ信頼区間が広い。隣接順位を確定的な優劣として扱う根拠は弱い。それでも、同じモデルの中で「追跡は強いが衝突は弱い」という仮説を立てる診断材料にはなる。

300問を320×192で比較した補助指標では、PWM-WROPはLPIPS 0.081、MS-SSIM 0.921を報告し、いずれも表中の最良値だった。次点はそれぞれ0.105と0.877である。これは、PWM-WROPの生成結果が標的映像へ知覚的・構造的に近かったという著者報告を補強する。

一方、この結果から物理推論の正しさを直接結論づけることはできない。指標は出来事の因果関係ではなく映像の近さを測る。またPWM-WROPの出力は320×192で、720pや1080pを出す競合より低解像度である。低解像度にそろえた比較と、高解像度へ拡大して測る比較では、モデルごとの有利不利が変わり得る。

WROPがよく合うのは、遮蔽後の同一性、個数、位置保持を評価すること、また障壁通過、支持除去、落下、衝突後の運動といった限定的な3D合成課題を訓練・診断することだ。六群に分けた設計は、一つのモデルの弱点を局所化する用途にも向く。

反対に、実写環境全般や長時間の開放世界における物理理解を保証するものではない。90フレーム入力の問題では、PWM-WROPの条件窓が57フレームのため、最初の33フレームを参照しない。長い時間にわたる手掛かりの保持を評価するときは、この制約が結果に影響し得る。

次に見るべき証拠は、同一の基盤モデル、訓練量、評価方式をそろえ、WROPの有無だけを変えたアブレーションである。加えて、課題群ごとの比較数を増やすこと、手作業で定義した軌道とは異なる外部データで再現することが必要になる。それらがそろって初めて、合成カリキュラムが物体永続性と固体性を因果的に改善したという主張が強くなる。