OmniEcho：身体性エージェントのための空間音響・視覚統合理解

この論文の問題設定は、音を認識するだけではない。エージェントは「何が鳴っているか」に加え、「どの方向にあり、どれほど離れ、動いているか」を視覚情報と結び付け、その判断を移動や停止へ反映する必要がある。たとえば屋内で、カメラにはまだ写っていない音源へ向かう場面を考える。音の種類を正しく答えても方向を誤れば進めず、方向が合っても距離を読めなければ適切に止まれない。この例は論文の課題構造を説明するものだが、現実の安全性や業務完了まで実証したことを意味しない。

従来の視覚言語ナビゲーション（VLN）は主に映像とテキスト命令を使う。一方、音響・視覚ナビゲーションの多くは、シミュレーション音響や左右二つの信号を使うバイノーラル入力を対象としてきた。既存の空間音響対応モデルにも、実収録FOAと視覚を用い、知覚問題と音誘導ナビゲーションを一つの枠内で評価する仕組みが不足していた。そのため、空間的な問いに答えられるモデルが、実際の移動でも音を役立てられるかを同じ研究設定で確かめにくかった。

著者らは統一評価系をOmniEchoBenchと名付けた。OmniEchoBench-QAは197シーン、2,972組の質問と回答からなり、方向、三次元位置、動き、カメラ回転、認知地図に関する能力を測る。OmniEchoBench-Navは30の実環境、900サンプルで構成され、各サンプルについて12〜17地点で収録したFOA音場を使う。前者は音響・視覚から空間関係を言語で答える知覚評価、後者は音を手掛かりに移動し、自ら停止する行動評価である。両者を並べることで、答えの正確さと行動の成功を混同せずに見られる。

単一チャンネル音響は音の内容を捉えられても、方向成分を直接保持しにくい。FOAはWと三軸方向成分を持つため、音場の空間構造を扱える。論文では、カメラとFOAマイクの座標関係を利用できることが前提になる。このため、方向成分を復元できない環境や、座標系を較正できない用途へ結果をそのまま移せるわけではない。

OmniEchoはQwen3-Omniを基盤とし、既存の意味音響経路に専用のFOA空間経路を加える。Wチャンネルは従来の経路で音の内容を表し、4チャンネルFOAは空間経路で位置情報を表す。空間側のトークンは意味側の対応する音響トークンの直後へ挿入され、言語モデルが視覚や質問と合わせて扱う。中核は、意味能力を空間学習で上書きせず、二種類の表現を隣り合わせて推論させる点にある。

FOAエンコーダへの入力は、生の4波形ではなく5チャンネルの特徴である。内訳は、Wチャンネルのlog-mel、三軸のactive intensity、音場が特定方向へ集中しているか拡散しているかを示すdiffusenessだ。第1段階では10万本の合成FOAクリップを使い、音の意味表現との整合を学ぶ。第2段階では、テキストで指定された音源について、方位と仰角をsinとcosの組で、距離を対数表現で回帰する。角度の損失に距離損失と意味損失を加え、位置を学ぶ間に音の意味表現が崩れることを抑える。第3段階ではFOAエンコーダ、既存の音響tower、視覚towerを凍結し、言語モデルと両者をつなぐprojectorだけを更新する。

大規模な教師データを用意するため、著者らは音源の軌跡、聴取者とカメラの姿勢、距離減衰、室内効果を制御するFOAレンダリング系を用いた。重要なのは、音だけを別に合成するのではなく、音源、映像観測、エージェントの移動軌跡の幾何関係を一致させることだ。先の屋内例なら、エージェントが回転したとき、画面の向きと音源の相対方向も一緒に変わらなければならない。ただし、幾何学的に整合していることと、実際の室内音響を完全に再現できることは同じではない。

QAでは音響のみ、視覚との組み合わせ、モデル構成の違いなどを比較する。自由文回答はLLMで所定の構造へ正規化するが、最終的な正誤は固定規則で判定する。これは判定基準の再現性を高める一方、LLMによる抽出段階の誤りをなくすものではない。アブレーションではFOA経路の有無、既存の意味音響経路の有無、FOAエンコーダを凍結するか更新するか、生波形と特徴入力の差を調べている。したがって、単なる総合順位だけでなく、どの構成要素が結果に寄与したかを検討できる。

ナビゲーションはHabitat上の閉ループ評価で行われる。モデルは各判断時に8個の相対waypointを出し、停止時点も自ら決める。成功半径は1 mで、SRは成功終了の割合、SPLは成功と経路効率、OSは途中で一度でも目標領域へ入った割合を見る。音誘導モデルに加え、テキスト誘導モデルやSoundSpacesとの比較も示される。ただし、入力がFOAかバイノーラルか、命令が音かテキストかなどが一致しない。この比較は大まかな性能水準を知る材料であり、方式間の厳密な優劣だけを確定する試験ではない。

著者報告では、音響・視覚入力のOmniEchoBench-QAでOmniEchoの総合精度は28.5だった。同じ表でQwen3-Omni-30B-A3Bの単一音響・視覚条件は18.5、SO-7BのFOA・視覚条件は11.4であり、評価対象中の最高値だった。ただし28.5という絶対値は、課題が解決済みではないことも示す。比較モデルとの差は空間経路の有効性を支持するが、すべての質問へ安定して答えられる水準とは読めない。

QAアブレーションでは、意味音響エンコーダとFOAエンコーダを併用し、FOA側を凍結した構成が28.5で最良だった。FOAエンコーダも更新すると26.2、FOAなしでは19.8、既存の意味音響エンコーダなしでは26.2だった。これは、空間経路を足すだけでなく、既存の意味経路を残すこと、さらに空間表現を第3段階で動かし続けないことが、この設定では有利だったことを示す。別の基盤モデルや収録配置でも同じ構成が最適かは未検証である。

定位アブレーションで、5チャンネル特徴と第1段階の事前学習を組み合わせた構成は、方位角誤差17.9度、仰角誤差7.70度、距離誤差1.13だった。生の4チャンネル波形と同じ事前学習を組み合わせた構成は、それぞれ30.5度、13.8度、1.65であり、特徴ベース入力の方が誤差が小さい。また、シナリオが重ならない分割で実データ1,000例を追加学習すると、保持データのQA総合精度は28.5から34.9へ上がり、全5カテゴリで改善した。これは実データ適応の価値を示す一方、合成中心の学習だけでは実環境との差が残る証拠でもある。

実収録音場によるVal-Unseenのナビゲーションで、OmniEchoはSR 16.2%、SPL 11.5%だった。テキスト誘導InternVLA-N1は17.8%、16.7%、バイノーラル音響を使うSoundSpacesは5.4%、3.9%と報告された。OmniEchoは一部のテキスト誘導ベースラインに近いSRを得たが、SPLには差があるうえ、比較条件も完全には揃っていない。より重要なのは、900 episodeでOSが52.89%、SRが16.22%だった点だ。36.67%は目標領域へ入ったのに成功終了しなかった。ただし、判断と判断の間に複数の行動を実行するため、OSとSRの差を停止分類の誤りだけに帰属することはできない。接近後の移動、再計画、停止が混ざった結果である。

同じナビゲーション評価で、距離推定の平均絶対誤差は2.20 m、中央値絶対誤差は1.61 m、Pearson相関は0.27だった。細かな近接判断に必要な距離情報はまだ弱い。正解の方向を与える試験ではSRが16.2%から23.7%、SPLが11.5%から22.1%へ改善した一方、OSは52.89%から34.33%へ低下した。到達したepisodeの集合自体が変わるため、これを方向情報による停止性能の改善と単純には解釈できない。また、論文は学習時の設備と時間を報告するが、推論レイテンシ、実行コスト、消費電力の比較は示していない。したがって、現時点で適合しやすいのはFOAとカメラを較正できる屋内研究であり、高精度な距離推定や確実な停止が安全要件となる運用、計算制約が厳しい用途には追加評価が必要である。