WorldCrafter：要求視点に合わせて履歴を圧縮する暗黙的3D認識メモリ

動画世界モデルは、直近の数フレームを見ながら次の区間を生成できる。しかし生成が長く続き、直近コンテキストから古い観測が外れると、過去に見た場所の形や色を保ちにくい。たとえば、利用者が店舗の入口画像から仮想空間を見回し、棚の裏側へ進んだ後で入口へ戻る場面を考える。入口の看板、棚の配置、照明が最初と違えば、個々のフレームが自然でも、一つの空間を探索している感覚は壊れる。視点が変われば、同じ対象でも見える面や隠れる部分が変わるため、単なる画像の再利用だけでは足りない。WorldCrafterが狙うのは、この長時間後かつ別視点からの再訪整合性である。なお、この店舗例は外観記憶の説明に限った例であり、モデルが在庫や物理状態を正確に管理することを意味しない。

素朴には全履歴へ注意を向ければよいが、履歴が伸びるほど計算量が増える。過去から似た少数フレームだけを検索すれば軽くなる一方、似た画像が同じ場所の別方向を十分に覆うとは限らない。明示的な空間メモリでは、深度を推定して過去の画素や特徴を新しい視点へ移せるが、正確な幾何への依存が強く、動く被写体も扱いにくい。既存の暗黙メモリや幾何特徴も、外観を忠実に再現することより幾何推定を優先する場合がある。つまり、保存量、視野の被覆、幾何の正確さ、動的場面への対応を同時に満たすのが難しい。

WorldCrafterは、カメラから問い合わせ可能な暗黙的3D認識メモリとして提示される。中心となる発想は、履歴を一度だけ汎用的に要約するのではなく、次に要求されたカメラ軌道を見てから、そこで必要になる情報を固定予算へ詰めることだ。店舗例なら、入口へ戻る予定が分かっているとき、奥の壁に似たフレームだけでなく、入口周辺を異なる角度から捉えた履歴を組み合わせる。ここでいう「3D認識」は、明示的な点群や深度地図が保存されるという意味ではない。複数視点の関係を学習した内部表現が、姿勢に応じて外観を取り出せるという意味である。

最初の動画チャンクはカメラ姿勢だけを条件に生成する。その後は、蓄積した映像のVAE潜在表現と履歴カメラをメモリエンコーダへ渡す。エンコーダはLagerNVS由来で、明示的な3D再構成を作らず、履歴の幾何と外観を表現トークンへまとめる。次に、これから生成するカメラ軌道から固定数のクエリ姿勢を取り出す。姿勢条件付きreadout、つまり読み出し器が、その視点に関係する情報を、4枚の非圧縮履歴フレームに相当する固定数のDiT互換トークンへ変換する。DiTは、このメモリ、固定長の直近履歴、現在ノイズ状態にある潜在表現を一つの系列として処理する。したがってメモリは過去の代用品であり、直前の動きや時間的連続性を担う直近履歴を置き換えるものではない。

メモリエンコーダへ渡す履歴は9潜在フレームに固定される。最新フレームは必ず残し、残り8フレームは、次の軌道が見る領域を共同で最大限覆うよう貪欲に選ぶ。重要なのは、各フレームを単独の類似度だけで選ばない点だ。よく似た入口正面の画像を何枚も集めるより、入口の左側、右側、看板付近などを補完的に含む履歴の方が、次の視点を再構成しやすい。この選択後に姿勢付きreadoutを行うことで、「何を記憶へ入れるか」と「どの視点向けに読むか」を分けて扱う。固定長なので履歴全体が伸びてもDiTへ渡すメモリ予算は増えないが、選ばれなかった情報まで保持できるわけではない。

学習は、Helios-baseの窓構成の変更、カメラ分岐の学習、LagerNVS由来メモリエンコーダのウォームアップ、エンコーダ・readout・DiT・カメラ分岐の共同最適化という4段階で進む。最後にMINDの合成動画を加え、動的な被写体への追従を改善する。高速版WorldCrafter-fastは、3段階の空間解像度で各2回のノイズ除去を行うピラミッド蒸留を採る。著者らは、自然な外観を担う低ノイズ側と、被写体追従を担う高ノイズ側を異なるデータ構成で蒸留し、推論時に組み合わせた。4 GPU環境で16 fpsを報告しているが、GPU機種と完全なエンドツーエンド遅延は供給資料にない。この数字だけから一般的なリアルタイム性能や運用費を判断することはできない。

評価集合は、著者らが収集した145画像に5本ずつの軌道を割り当てた725動画で、各軌道は528〜1,648フレームである。83件は動的物体中心、62件は静的な場面だった。全手法へ同じ初期画像、説明、目標軌道を与え、出力を640×384にそろえた。再訪整合性では、初回観測と閉ループで戻った際の対応フレームをLPIPSとPSNRで比較する。LPIPSは低いほど、PSNRは高いほどよい。カメラ制御では、生成動画からVGGT-Ωで4フレーム間隔に軌道を推定し、Sim(3)整列後のRotErr、TransErr、CamMCを測る。いずれも低いほどよい。見た目の総合品質にはVBenchのcustom-input modeを使った。

著者らは、学習・推論条件とDiTへ与えるメモリトークン予算を固定し、完全版を四つの変種と比べた。直近文脈型のcontext memory、メモリエンコーダを凍結する版、姿勢を使わないreadout、画像の類似度で履歴を検索する版である。完全版のLPIPS/CamMCは0.255/1.546だった。各変種は順に0.497/2.150、0.305/1.886、0.333/1.828、0.296/1.664で、完全版が両指標で良かった。この比較は、単なるトークン数の差ではなく、共同学習、姿勢条件、被覆を考えた検索が結果に寄与したことを著者ベンチマーク内で示す。ただし、各要素の効果をあらゆるデータ分布で確定するものではない。

著者らの725動画での閉ループ評価では、WorldCrafterのLPIPSは0.255、PSNRは18.016 dBだった。比較対象Lyra 2.0はそれぞれ0.487、14.050 dBであり、知覚差と信号上の一致の両方でWorldCrafterが良い。著者らはWorldCrafter-fastが四つの再訪指標すべてで最良だったとも報告する。カメラ制御では、WorldCrafterのRotErrが13.536、TransErrが1.475、CamMCが1.546だった。DreamX-World、Alaya-EVOKE、HY-WorldPlay、Lyra 2.0、Echo-WM、LingBot-World 2、Matrix-Game 3.5、SANA-WMの8手法との比較で、三つの誤差すべてが最小だった。これらは同じ入力と軌道を与えた条件での著者報告であり、独立再現ではない。

VBenchのcustom-input modeでは、WorldCrafterのOverallは81.910で比較手法中の最高値だった。次点のAlaya-EVOKEは81.406である。一方、蒸留版WorldCrafter-fastは80.285で、最速を狙った版が総合品質でも最良だったわけではない。また、合成データを使った蒸留では、被写体追従の改善と引き換えにテクスチャがにじむ傾向が観察された。低ノイズ側と高ノイズ側を分けた設計は、この交換条件への対応である。16 fpsという報告は操作応答性の手掛かりにはなるが、画質評価、再訪整合性、全処理遅延を一つの数字にまとめたものではない。

640×384、9潜在フレームの生成チャンクに対する構成要素測定では、WorldCrafterのメモリ処理は、encoding 0.049秒とreadout 0.013秒の計0.062秒だった。比較された深度ベース方式は、Depth Anything 3による推定・整列が0.409秒、4履歴フレームの一括ワープが0.937秒で、計1.346秒だった。比率は21.7倍だが、この比較から「動画生成全体が21.7倍速い」とは言えない。VAE復号と動画のdenoisingが除外され、両方式で履歴数も異なるからだ。それでも、明示的な深度推定とワープを実行時経路に置かない暗黙メモリが、追加処理を抑える候補になることは示している。

第一に、著者ら自身が、複雑または長大なカメラ軌道では整合性がなお破綻し得ると認めている。さらに毎チャンクで履歴を再エンコードするため、固定トークンであっても追加遅延は消えない。第二に、ベンチマークは著者らが集めた145画像で、Web素材と生成画像を含む。別の入力分布、より長い軌道、異なる動き方への一般化は未確定である。第三に、カメラ制御誤差はVGGT-Ωが生成映像から復元した軌道に依存する。推定器の誤差と生成モデル自身の制御誤差を完全には分離できない。したがって、三つの誤差が最小という結果は比較条件内では有力でも、真のカメラ姿勢を直接測った証拠ではない。

適合しやすいのは、単一画像またはテキストから始め、指定カメラ軌道に沿って長時間探索し、過去に見た領域への再訪時の外観を重視する場面である。また、履歴が増えても固定トークン予算を守り、実行時に明示的な深度推定やワープを置きたくない設計にも合う。反対に、非常に長く複雑な軌道で一度の破綻も許されない用途、チャンクごとの再エンコード遅延を許容できない用途には弱い。明示的で監査可能な3D地図や正確な物理状態が必要な場合にも不足する。次に見るべき証拠は、別データによる独立再現、さらに長い軌道、推定器に依存しないカメラ評価、そして画質を含むエンドツーエンドの遅延比較である。