LOWN：予測の一致で画像への再アクセスを選ぶ拡散型VLMの効率化

図表を見て質問に答える仕事を考えよう。モデルには図表、質問文、生成途中の回答が渡される。ここで扱う拡散型視覚言語モデルは、未確定の回答位置をマスクで表し、繰り返し予測して回答を完成させる。復号とは、この回答生成の過程を指す。標準的な方式では、回答を更新する各ステップで、画像・質問・回答の全体を処理する。

著者らによると、LLaDA-Vの対象10ベンチマークでは、画像を表す視覚トークンが入力の89–97%を占める。回答は変わっても、入力画像は変わらない。そのため、同じ画像表現の反復処理が復号計算の大部分を占める。視覚埋め込みを除いた処理の解析上の費用は、画像付き処理の約3–10%だった。LOWNが利用するのは、この費用差である。

従来の視覚トークン削減は、画像を表すトークンの一部を除き、画像付き処理を軽くする。RedVTPやZOO-Pruneがこの比較対象だ。ただし、除いた情報は失われ、残した視覚トークンは各ステップで処理される。別の方向として、確定する回答トークン数を調整する方法や、計算途中の状態をキャッシュして再利用する方法もある。

LOWN、正式名Look Only When Neededは、画像付き処理を実行する必要があるかを毎回判断する。同時に、そのステップで何個の回答トークンを確定するかも決める。追加学習やタスク別に調整した閾値は使わない。画像情報を処理する量と、その処理を実行する頻度を別々の設計対象にする点が、提案の中心だ。

出発点は、画像を外すと回答予測がどれほど変わるかという測定だった。著者らはLLaDA-Vの標準的な復号過程で、同じ回答状態に画像あり・なしの処理を行った。状態の更新は画像ありの予測だけで決め、画像なしの予測は記録にとどめた。これにより、画像を外した処理が後続の回答状態を変える影響を避けている。

10評価の非加重平均では、確定対象位置で最有力トークンが一致する割合は83.4%だった。一方、少なくとも一つの確定位置で画像の有無が予測を変えるステップは22.8%。これは前者とは集計単位が違う。画像依存ステップはMMBenchで7.9%、文書読解のDocVQAで43.8%と差があった。画像なし予測が常に十分という結果ではなく、画像が必要な機会をタスクや回答状態に応じて選べる可能性を示す観察である。

LOWNでは、画像を含む処理をFULL、視覚埋め込みを除いた処理をTEXT-ONLYと呼ぶ。最初は全回答位置がマスクされた同じ状態で、TEXT-ONLY、FULLの順に処理する。FULLが各位置で出した最有力のトークンと、その予測確率を保存する。これが再利用の基準となる「アンカー」だ。画像は一度符号化し、FULLではその視覚埋め込みを再利用する。

次のステップでは、まずTEXT-ONLYを実行する。その予測を、アンカーに残る予測と照合する。図表への回答を作る例なら、現在の回答状態だけから予測した語が、直近に図表を含めて処理した際の予測と同じかを調べることになる。ただし、質問や回答に画像由来の情報が残っていても、TEXT-ONLYが図表を直接読み直すわけではない。また、比較相手は過去のFULLであり、現在の状態で新しく実行したFULLではない。

未確定位置は、アンカーの信頼度が高い順に調べる。その順序でTEXT-ONLYとアンカーの予測が一致し続ける範囲を求め、最初の不一致で止める。ここでいう連続範囲は文章上で隣り合う位置ではなく、信頼度順の先頭から続く範囲だ。さらに、隣接位置に同じトークンが重なる反復を防ぐ停止規則も設ける。

基準方式が1ステップで確定するトークン数をkとする。一致範囲がk以上ならFULLを省略し、その範囲全体をアンカーの予測で確定する。k未満ならFULLを追加実行し、アンカー全体を更新する。この場合はTEXT-ONLYとFULLで予測が異なる位置を優先し、FULLの信頼度を使ってk位置を確定する。

どちらの分岐でも少なくともk位置が確定するため、基準を超えるステップ数は必要としない。一致が広ければ、画像付き処理を省くだけでなく、回答を完成させるステップ数も減らせる。ただしFULLを実行するステップでは、その前のTEXT-ONLYの計算も必要になる。著者らの計算量評価は、この両方を数えている。

画像評価では、LLaDA-VとLaViDaを使った。対象はMathVista、ScienceQA、ChartQA、MME、MMBench、DocVQA、GQA、LLaVA-Bench、CapArena、DeCapBenchの10評価である。比較内ではプロンプト、回答予算、採点器を共通にし、タスクごとの指標で採点した。LLaDA-V単独の主評価は、バッチサイズ1、貪欲復号、KVキャッシュなしの条件だ。

比較相手には視覚トークン削減のRedVTP、ZOO-Pruneと、確定数を調整するKLASSを含めた。各手法の離散的な設定から、LOWN以上のFLOPsを使う最も安い設定をベンチマークごとに選んでいる。品質スコアは設定選択に使わない。比較手法にLOWN以上の計算量を割り当てる一方、完全に同じ予算での比較ではない。ZOO-Pruneには、自己回帰モデル向けの公開実装を拡散型に適応したものを使っている。

平均品質は、各タスクで「LOWNのスコアを基準スコアで割り、100を掛けた値」の非加重平均だ。ただしCapArenaは「100にスコア差を加えた値」を使う。したがって平均品質99.6は、正解率99.6%という意味ではなく、異なる評価を基準に対する値へ変換した集計である。

画像を読む回数が減れば十分なのかを調べるため、著者らは一定周期でFULLを実行する方式と、ランダムに実行する方式も比較した。ランダム方式は平均FULL回数をLOWNに合わせている。また、基準の確定順とkを保ち、画像付き処理の選択だけを変える実験で、適応的な確定量の効果を分けて調べた。

速度には、解析した復号FLOPsと実測生成時間の二つを使う。前者は復号器などの行列積を対象とし、画像符号化やsoftmax、正規化を除く。後者はNVIDIA H200、バッチサイズ1で、生成呼び出し内の画像符号化と準備を含めて測った。モデル読み込みと採点は含まない。各評価集合を1回実行した例ごとの時間の平均であり、反復測定のばらつきは示されていない。二つの指標は、同じ範囲の費用を測っているわけではない。

以下の数値はすべて著者らの報告である。LLaDA-Vの10評価で、LOWNの平均品質は基準100に対して99.6、平均復号FLOPs比は0.353だった。つまり、定義された復号計算の量を基準の35.3%に抑えた。LOWN以上のFLOPsを使う比較対象の加速手法に対して、10評価中8評価で最高スコアを得ている。

ただし、品質の平均には基準を上回った評価の寄与も入る。その上昇分を100で打ち切ると平均品質は98.6になる。99.6という値だけで、どのタスクでもほぼ無損失と読むことはできない。H200での平均生成時間比は0.426、短縮率は57.4%で、最大短縮率は73.2%だった。復号FLOPsの比と時間の比が異なるため、計算量の減少をそのまま待ち時間の減少へ置き換えることもできない。

MathVistaでは、LOWNのスコアが56.00、FLOPs比が0.325だった。4ステップごとに画像付き処理を行う方式は、ほぼ同じ計算量の0.321でスコア52.00。平均FULL回数を合わせたランダム方式は、FLOPs比0.349で53.40だった。この比較は、単に画像を読む回数を減らすだけでなく、いつ読むかを選ぶ意味があることを支持する。

画像付き処理の選択だけを変えた実験では、10評価でFLOPsを27–68%削減した。適応的な確定量を加えると、その後に残る計算をさらに21–43%削減した。この追加削減率は、元の基準全体に対する率ではない。

一方、「一致による証明」は現在のFULLとの同一性を保証しない。LOWNがTEXT-ONLYで受理したトークンを、その回答状態で新しく実行したFULLと比較すると、予測不一致率は2.2–4.7%だった。これは正解ラベルに対する誤答率ではない。アンカーが古いほど不一致は一般に増え、DocVQAの8ステップ前のアンカーでは25.3%だった。LOWNの受理トークンの94.8%は、1ステップ前のアンカーを使っていた。

視覚トークンを50%保持するRedVTPと併用すると、未削減のLLaDA-Vを基準に平均品質98.3、FLOPs比0.223となった。同じ保持率のRedVTP単独からの追加FLOPs削減は57.6%。処理を軽くする方法と、処理頻度を減らす方法を組み合わせられるという結果だ。

中間状態を再利用するFast-dLLMへの追加でも高速化したが、品質は低下した。H200、バッチサイズ1、同じキャッシュ設定で、MathVistaは平均2.14秒から1.23秒、品質57.30から57.10。LLaVA-Benchは2.02秒から1.25秒、品質63.00から58.00で、5.0ポイント低下した。DeCapBenchも4.22秒から2.10秒になる一方、品質は35.19から33.35へ下がった。速くなったという結果だけでは併用の妥当性は決まらない。

別モデルのLaViDaでは、同じ判断規則で10評価の平均品質99.7、FLOPs比0.174を報告した。基準はLaViDa自身であり、LLaDA-Vとの品質の優劣を示す数字ではない。

図表や文書の読解では視覚依存が続き、削減幅が小さくなる。DocVQAの最小削減例では正答したものの、15ステップ中14ステップでFULLを実行し、FLOPs比は0.90だった。また、FULLの回数と確定量を実行中に決めるため、入力ごとの計算量を復号前に固定できない。固定予算が必要な用途には、この性質が制約になる。

動画でもVidLaDA-8Bを評価し、EgoSchemaの500問では正解率60.6から60.2、FLOPs比0.255、MLVUの502問では9タスクの平均指標M-Avgが41.8から43.3、FLOPs比0.272だった。ただし同一32フレーム、回答長128トークン、基準128ステップで、基準の並列復号を無効にした制御比較である。公開標準の64フレーム・2トークン評価とは異なる。実証対象もLLaDA系に限られ、任意のVLMや標準動画設定への一般化は未確認だ。

採点にも留保がある。複数の評価でモデル採点を使うが、採点器を変えた場合の頑健性は示されていない。DeCapBenchのステップ削減比較では、有効と判定された出力だけを平均し、その件数も手法間で異なる。本研究はarXivプレプリントであり、供給資料には独立追試の証拠はない。対象業務での品質、入力ごとの遅延、異なる実行条件での再現性が、次に確認したい証拠になる。