MiniMax-H3は物理世界を推論できるか――4種のオムニモーダル評価

MiniMax-H3はテキスト、画像、映像、音声を扱い、音と映像を含む動画を生成できる。だが、多様な形式を受け付けることは、それぞれの内容を正しく対応付け、隠れた出来事や次の展開を推論できることを保証しない。

本研究はこの差を評価対象にした。各入力には部分的な証拠しか置かない。モデルは、複数の証拠をまとめなければ適切な動画を作れない。たとえば、複数の意味に読める静止画だけでは出来事を決められず、添えられた音声を使って解釈を絞る必要がある。成功には、音を認識するだけでなく、その音が示す物体や出来事を動画へ反映することまで求められる。

この例が示すのは評価の構造であり、音声利用だけが論文の対象という意味ではない。研究は複数視点の画像、途中までの映像、映像と音声の制約も扱う。共通点は、指示文だけ、または一種類の入力だけでは証拠が足りないことである。

既存の動画生成や世界モデルの評価には、作るべき内容をプロンプトや画像で比較的明示し、その指定に沿った動画になったかを測るものが多い。論文はVBench、TC-Bench、VideoPhy、WorldModelBenchを挙げ、入力形式、複数場面、暗黙プロンプト、物理認識、推論を扱う範囲の違いを整理している。

今回の変更点は、正解に必要な情報をプロンプト内で完結させないことだ。意味情報を複数の入力へ分散し、モデルがそれを回収できなければ条件を満たせないようにする。評価者も単に映像が自然かを見るのではなく、入力が課す対象、配置、状態変化、時間順序、音との対応を確かめる。

ただし、既存評価との比較は設計属性の比較である。同一モデルを同一事例と同一指標で測った性能比較ではない。したがって、本評価が既存ベンチマークより正確、あるいは高感度だと実験的に証明したわけではない。

著者らは、生成された動画をモデルの推論結果を外から観察するための読み出しとして使う。入力に支えられた意味・空間・時間・音響上の条件を動画が満たせば、必要な情報を利用できたと操作的にみなす考え方だ。単一の正解動画との一致を求めないため、見た目が異なる複数の妥当な答えを認められる。

一方、この仮定には測定上の境界がある。モデルが出来事を正しく理解していても、それを動画として表現できなければ失敗になる。逆に、条件に合う動画ができても、どの入力を因果的に利用したかは完成動画だけでは確定しない。つまり、この評価は入力理解、モダリティ間の統合、出力の計画、動画としての実現をまとめて測る。論文タイトルの「物理世界を推論できるか」は、この複合的な成功条件を通じて検討されている。

評価は4領域からなる。MSRは、異なる視点の複数画像を与え、同じ対象の対応、遮蔽、空間関係を統合した動画を求める。単一画像だけでは分からない関係を、複数の視点から補う課題である。

ADRは、複数の解釈が可能な静止画と、解釈を区別する音声を組み合わせる。モデルは音響上の手掛かりに対応する物体や出来事を動画として具体化しなければならない。VDRは途中までの映像から、運動、状態変化、物体間の相互作用、起こり得る結果を読み、明示されていない適切な続きを生成する。AVIRは動画と環境音または発話による制約を組み合わせ、続きを生成するか、不整合な箇所を修正する。音声と映像は必ずしも時間的に同期していない。

四つは、各入力が部分証拠しか持たない点では共通する。ただし、入力構成も生成目標も同じではない。この違いは多様な弱点を観察するためには役立つが、課題別の点差をモダリティだけの差として扱えない理由にもなる。

素材には実データと生成モデル由来の合成データが含まれる。著者らは入力、期待する意味上の出力目標、動画生成用のプロンプトを組み合わせた。候補プロンプトはChatGPTとQwen3で作成した後、専門家が編集し、検証している。

各候補は、場面の複雑さ、推論内容の豊かさ、入力条件との整合性、プロンプトが答えを明かしすぎていないかという暗黙性の4観点でレビューされた。この作業を10回反復し、不適格な組を修正または交換した。最終集合は4領域、29サブカテゴリ、合計517件である。内訳はMSRが200件・10分類、VDRが100件・8分類、ADRが146件・6分類、AVIRが71件・5分類だった。

丁寧な選別は、狙った推論を必要とする事例をそろえる手続きである。同時に、結果の範囲を限定する。報告される成功率は、品質、意味的整合性、課題への適合性を確認して残された集合上の値であり、自然に現れるあらゆる入力を無作為に集めた結果ではない。

生成動画は3人の専門家が独立に評価し、その後、入力と指示を参照しながら相互確認した。判定は成功か失敗かの二値である。参照動画との画素単位の一致ではなく、課題固有の要件を満たすかを見る。したがって、表現が異なっていても、必要な意味、位置関係、時間変化、音との対応を守れば成功になり得る。反対に、見た目が自然でも制約に違反すれば失敗になる。

成功率は、各集合で成功と判定された件数を事例数で割ったものだ。全体値は517件に基づくため、四つの課題別成功率の単純平均ではなく、事例数で重み付けされた値として読む必要がある。

二値判定は理解しやすい一方、ほぼ正しい出力と大きく誤った出力の差を残さない。さらに、評価者間一致度、不確実性区間、意見が割れた場合の詳しい処理は報告されていない。このため、数ポイントの差をどこまで重く見るべきか、判定が別の評価者でも再現されるかは本文の情報だけでは判断できない。

実験は、MiniMax-H3が選別済みの複合課題で、入力条件を満たす動画をどの程度生成できたかを確かめる。複数視点の空間対応、音声による画像の曖昧性解消、前半映像からの先読み、音声制約を使った動画の継続・修正という異なる断面を観察できる。

一方、評価したモデルはMiniMax-H3だけであり、同一条件のモデル間ベースラインはない。また、一種類の入力を外すモダリティ除去や、視覚入力を固定して音声だけを別の意味へ置き換える統制実験も行われていない。そのため、特定の入力が結果を変えたか、失敗がどの処理段階で生じたかまでは立証できない。これは評価枠組みの適用例と単一モデルの診断であり、一般的なオムニモーダルモデルの順位付けではない。

著者報告の全体成功率は41.97%だった。課題別では、途中までの映像から続きを生成するVDRが56.00%で、100件中の結果である。次に、映像と音声の制約を組み合わせるAVIRが47.89%（71件）、複数視点画像を統合するMSRが43.50%（200件）だった。静止画の曖昧さを音声で解消するADRは27.40%（146件）で最も低い。

最高のVDRと最低のADRの差は28.60パーセントポイントである。これは56.00%から27.40%を引いた絶対差であり、ADRを基準に何割改善したかという相対変化ではない。

この順位から直接言えるのは、各課題集合で条件を満たした頻度までである。VDRとADRではデータ、プロンプト、求められる動画、事例数が異なる。したがって、映像入力を扱う能力が音声入力を扱う能力より高い、という因果的な比較にはならない。課題の難しさや、要求された動画を実現する難しさの違いも点差に含まれ得る。

著者らの定性的分析では、繰り返し現れる失敗が四つに整理された。第一は、別々の入力にある証拠を誤って対応付けること。第二は、必要な出来事を一部しか動画にしないこと。第三は、物体の動きや配置など、物理・空間上の制約を破ること。第四は、時間が進む途中で状態が食い違うことである。

この分類は、映像がもっともらしく見えるだけでは成功といえない理由を示す。出力に必要な物体が登場しても、元の音声が示す出来事と違う、配置が入力画像と矛盾する、状態変化が途中で巻き戻るといった場合は、証拠に沿った生成ではない。

ただし、四類型がそれぞれ何件あったか、課題ごとにどう分布したか、同じ失敗動画に複数の型が重なったかは報告されていない。したがって、どの障害が全体成功率を最も押し下げたのかは分からない。失敗例は弱点の候補を示すが、支配的な原因を定量的に特定するものではない。

41.97%は、MiniMax-H3の「世界理解率」ではない。モデルが入力を知覚し、異なる手掛かりを対応付け、潜在的な状態や次の展開を考え、それを動画として実現するまでの全過程を一つの成否へ圧縮した値である。

低い成功率は、モダリティ統合が十分でない可能性と整合する。しかし、内部では適切な展開を得ていても、必要な物体や動きを生成できなかった可能性がある。反対に、成功動画が特定の音声や画像を本当に利用した結果なのか、入力置換への反応を調べていない現状では確定できない。生成結果だけから内部の理由を逆算することはできない。

また、全体値はMiniMax-H3一つ、選別された517件、人手による二値判定という条件に結び付いている。他モデルへ一般化する根拠はなく、より広い入力分布で同じ値になる保証もない。成功率は評価設計に対する単一モデルのエンドツーエンドの達成度として読むのが妥当である。

結果の意味を強めるには、まず同一事例、同一判定基準で複数のオムニモーダルモデルを比較する必要がある。それにより、課題別の順位やADRの弱さがMiniMax-H3固有なのか、モデル群に共通するのかを確認できる。

次に必要なのは、入力の因果的な寄与を調べる統制である。一種類のモダリティを外したときに成功率が下がるか、画像を固定して音声だけを意味の異なるものへ替えたときに出力も適切に変わるかを見れば、その入力を利用したという証拠が強まる。論文も、モダリティ除去や音声置換を今後の課題として挙げている。

評価面では、評価者間一致度、不確実性区間、失敗類型ごとの件数が示されれば、差の再現性と重要度を判断しやすくなる。現時点で本枠組みがよく合うのは、複数入力に散った証拠を完成動画へ反映できたかを調べる用途である。他モデルの性能予測、モダリティの優劣の断定、理解と生成の失敗箇所の特定には向かない。