S-Space：マルチモーダル言語モデルの内部座標から空間推論の失敗を探る

画像と言葉を扱うマルチモーダル言語モデルに、二つの物体の左右や遠近を尋ねる。答えが間違っていても、それだけでは原因はわからない。物体の位置を捉え損ねた可能性もあれば、位置情報は内部にあるのに、質問に合わせて扱えなかった可能性もある。S-Spaceが取り組むのは、この違いを内部表現から調べる問題だ。

例えば、画像を確認する仕事で「この物体は参照物体より右にあるか」と尋ねた後、「左側から見たらどうなるか」と聞く場面を考える。前者には元画像の位置関係が必要で、後者には視点に応じた変換も必要になる。本研究は、この二つを同じ能力として採点するだけでなく、元の位置情報がどこまで利用可能かを確かめる。

ただし、ここで扱うのはベンチマーク上の位置判断である。この例から、実環境で自由に動きながら物体を扱える能力まで想定してはいけない。研究の焦点は、回答の背後にある表現と計算の切り分けにある。

モデルは処理の途中で、各トークンに隠れ状態と呼ぶ数値表現を持つ。既存研究は、物体名のトークンに空間情報が結び付くことや、内部状態への介入、垂直方向と奥行きの結合などを調べてきた。S-Spaceは、その蓄積を踏まえ、連続的な座標を共通の窓口にして、読み出しと介入、視点変換の追跡を結び付ける。

S-Spaceは、隠れ状態の中にある3次元の線形部分空間だ。線形部分空間とは、決まった方向の組み合わせで表せる範囲をいう。著者らは水平・垂直・距離に対応する3方向を求め、物体名トークンの内部表現を各方向へ射影する。射影は、その方向の成分を取り出す操作である。得た値を座標として、物体同士の差から左右、上下、遠近を判断する。

軸は画像や物体ごとに作り直すものではなく、モデルと層ごとに同定して共有する。ここでいう「内部作業空間」は、位置を表現し、その情報を使い、変換する過程を調べるための捉え方だ。モデル内部に独立した地図装置があると断定する言葉ではない。

座標という言葉には注意が要る。水平と垂直は画像平面上の方向であり、世界に固定された座標ではない。奥行きによって見え方が変わる遠近効果も、明示的には分離していない。距離の教師値は、Depth Anything V2-Smallという深度推定モデルが予測した逆深度を使う。逆深度は近いほど大きくなる量で、実測距離ではない。

したがって、内部から座標を読めたとしても、校正済みの実世界3D位置を復元できたとはいえない。読み出しで正しい相対関係が得られることと、現実の距離がわかることは別の主張になる。

軸を回復する理論にも条件がある。空間成分とそれ以外を線形に分けられること、対象と参照の空間勾配が逆向きに対応すること、文脈差が平均すると相殺されることなどを仮定する。どんな内部表現からも完全な空間情報を取り出せるという保証ではない。

軸の同定には、空間回答の点数が内部状態の変化にどれだけ敏感かを使う。例えば水平軸では、rightとleftの回答点数の差を調べる。その差を増減させる内部の方向を、勾配として求める。勾配は、数値をどちらへ動かすと結果が変わりやすいかを示すものだ。

対象物体と参照物体について勾配を取り、その差を使う。さらに、質問の言い回しや物体の提示順、事例を変えて平均し、長さをそろえて軸にする。垂直ではaboveとbelow、距離ではcloseとfarの差を使う。同定にはCOCO-2017の訓練画像6,000枚、層の選択には重複しない1,800枚を使った。6関係それぞれに同定1,000例と選択300例を用い、5種類の質問文と対象・参照の入れ替えを含めている。

水平・垂直の教師位置は、物体を囲む枠の中心を正規化した値だ。距離には物体の領域内で平均した予測逆深度を使い、3軸の合計精度が最も高い層を選ぶ。軸を同定した後の読み出しには勾配計算を使わず、通常の順伝播で得た内部状態を射影する。著者らは、物体単独の質問や色の質問でも同じ軸から空間関係を読めたと報告する。空間比較を尋ねたときだけ現れる情報ではないことを支持する結果だ。

内部から位置を読み出せても、モデルが回答にその情報を使っているとは限らない。そこで著者らは、S-Space上の座標を書き換え、生成を再開した。編集では、この空間に直交する成分を保存する。試すのは片方の物体の移動、両物体の共通移動、座標の交換であり、交換と同じ大きさのランダム方向の編集も比較対象にした。

主実験はMolmo2-ERの第17層、EmbSpatialの800例で行った。空間回答が変わる一方で色回答が保たれるなら、位置情報への選択的な介入を支持する。両物体を同じだけ動かす操作では座標差が保たれるため、相対位置回答も保たれるかを確認できる。

ここで測る回答保持率は、編集前の回答が残った割合であり、正答率ではない。介入で回答が変わる結果は、その表現が回答に関与する証拠になる。ただし、変化が意図した空間情報だけに限られるか、自然な推論と同じ変化なのかは、別に吟味する必要がある。

基本的な空間質問では、生成された直接回答と、座標差の符号から決める回答を比較した。評価集合はCV-BenchのRelation・Depth全1,250問、EmbSpatialの6方向各200問で計1,200問、SpatialTunnel全1,200問。Molmo2-ER、MolmoAct2-Pretrain、MolmoAct2、Qwen3.5-4B、Qwen3.6-27Bの5モデルについて、COCOで選んだ各モデルの層を使う。主要指標は正答率だ。

視点変更にはSpinBenchを使い、元視点の関係を与えない146問と、正しい元視点の関係を与える144問を評価した。二つは件数の異なる分割であり、同じ問題に説明を足した厳密な対応比較とはいえない。各条件内では手法間で問題と物体順序をそろえた。

比較するのは直接回答、QwenのCoT、そしてS-Spaceの座標に固定回転を施す方法だ。直接回答は最大確率のトークンを順に選ぶ方式で上限128トークン、CoTは上限32,768トークン。この上限は実際の生成長や処理時間ではなく、速度や費用の比較には使えない。

固定回転の方法では、二つの物体の水平・距離の座標差を取り、左側、右側、背面という要求視点に対応する既知の回転を施す。その後、変換後の座標差から左右や遠近を決める。先ほどの画像確認の例なら、元画像での位置を読む段階と、「左側から見る」計算を分けたことになる。

これで直接回答を上回るなら、内部に使える位置情報があるのに、生成による変換では生かし切れていない可能性が高まる。ただし、正しい回転は外部から指定される。モデルが自力で変換を選び、実行できたことを示す評価ではない。

推論中の変化も別に調べた。Qwen3.6-27Bの第43層で、元の関係、要求視点、変換後の関係を含む手作業のCoTを与え、繰り返し現れる物体名の座標を追った。ただし、元と変換後の関係には正解を埋めている。自然生成された推論全体をそのまま観察した実験とは区別が必要だ。

著者らの報告では、SpinBenchの前提なし条件で、固定回転付き読み出しが全5モデルの直接回答を上回った。Molmo2-ERは直接回答60.96%に対して94.52%。Qwen3.5-4Bは60.96%に対して91.10%、Qwen3.6-27Bは60.96%に対して95.21%だった。差はそれぞれ33.56、30.14、34.25パーセントポイントであり、相対的な増加率ではない。QwenのCoTは4Bが62.33%、27Bが83.56%だった。

正しい元視点の関係を与えた条件でも、生成回答には誤りが残った。固定回転付き読み出しはQwen3.5-4Bが97.92%、ほかの4モデルが99.31%。Qwen3.6-27Bでは直接回答72.92%、CoT91.67%に対して99.31%だった。元の関係を知らせるだけでは変換の誤りがなくならないことと、明示的な変換を使ったときの高さが並んでいる。

一方、基本的な空間質問では読み出しが常に勝つわけではない。Qwen3.5-4BのCV-Bench／EmbSpatial／SpatialTunnelは、読み出し89.36／86.42／90.08%に対し、直接回答73.60／78.50／86.33%で、全集合で上回った。しかしMolmo2-ERは読み出し91.92／86.92／96.50%、直接回答94.40／90.42／97.83%で、全集合で下回る。S-Spaceを一般的な精度改善策とみなす根拠にはならない。

座標交換の介入は、ランダム編集より相対位置回答を大きく変えた。ただし交換強度αが1では、元回答の保持率は98.71%で、変化は小さい。αが6では43.93%まで下がった。同じ大きさのランダム編集は、それぞれ100.00%と99.83%だった。S-Spaceに沿う変更の特別な影響を支持する一方、単純な等倍交換だけで回答が切り替わるわけではない。

強い片方移動では、絶対位置回答の保持率が41.05%、色回答が78.13%だった。色より空間回答への影響が大きいが、色も完全には保たれない。また、座標差を保存する両物体の共通移動でも、相対位置回答の保持率は80.36%だった。いずれも無編集では100.00%である。編集の狙いと回答の変化は対応するが、きれいに独立した座標操作として振る舞うとは限らない。

この主要介入はMolmo2-ERに限られる。複数モデルで座標が読めることと、複数モデルで同じ因果的な役割が確かめられたことは同一ではない。読み出し精度の結果と介入の結果を合わせても、モデル全般に通じる完全な仕組みの説明には届いていない。

制御CoTの分析では、初期には回転付き読み出し、後期には直接読み出しが有利になる傾向が報告された。表現が要求視点へ移るという解釈を支えるが、変換はなお不完全で、文章には正解関係も含まれる。モデルが自発的に同じ処理を完遂する証拠としては扱えない。

別の分析では、MMSI-Benchの1,000問から正解が8方位に一致する191問を選び、Qwen3.6-27Bの推論中に現れた方位語1,311件を調べた。著者らはeastとright、northとaboveの整列を報告する。方位と画像相対方向の結合を示すが、選ばれた問題集合での結果だ。地図的な事前学習データが結合を生んだという説明は仮説であり、形成過程を直接検証していない。

適用範囲にも境界がある。軸はモデルと層ごとに求め、同定には勾配、読み出しには内部状態が要る。内部を取得できないAPIへの適用は確かめられていない。視点評価も、少数の左・右・背面への指定済み回転に限られる。未知の連続視点、任意形状の3D再構成、実環境での行動の信頼性は判断できない。次に見るべきなのは、こうした条件を広げても、知覚情報と変換計算を分けた診断が保たれるかである。