VEDJE：フレーム別キャッシュで動画・テキスト検索の精度と保存量を両立

動画検索では、同じような場面に見えても、そこで起きている動作や状態変化を区別したい。仕事で動画素材を探す場面を考えると、文章の要求と動画の内容が細部で合うかが重要になる。VEDJEが扱うのは、この動画と文章の対応を見分ける検索だ。文章を入力して動画を探す方向をT2V、動画に合う文章を探す方向をV2Tと呼ぶ。後者は動画から文章を生成する課題ではなく、候補の文章を順位付けする課題である。

第1段階で広く候補を探し、その候補を詳しく見直す構成なら、すべての動画と毎回細かく照合する負担を避けられる。ただし、詳しい比較に使う動画情報をどれだけ保存するかが問題になる。情報を多く残せば保存量と処理量が増える。小さくまとめすぎれば、似た場面の違いを見落とすおそれがある。

従来のデュアルエンコーダは、動画と文章を別々に特徴へ変換し、その類似度から安価に候補を探す。ここでは動画と文章の細かな特徴を一緒には処理しない。一方、共同エンコーダは両者をまとめて読み、対応を詳しく判断する。そのために問い合わせごとに動画を再び特徴へ変換したり、長い特徴列を処理したりすると、応答時間や保存量が増える。

画像向けの先行手法Edjeには、圧縮した特徴を事前に保存し、軽量な共同エンコーダで再ランキングする考え方があった。VEDJEはこれを動画へ発展させる。動画では、見た目の情報に加えて、時点ごとの違いをどう残すかが問われる。動画全体を一つにまとめた特徴だけで十分か、という点が研究の出発点になっている。

キャッシュとは、後で繰り返し使うために保存しておく情報だ。本研究で保存するのは動画そのものではなく、検索用に圧縮した特徴である。作成時には、将来どんな文章で検索されるかは分からない。その制約の中で、多様な問い合わせに必要な情報を残さなければならない。

VEDJEは、サンプリングした各時点の特徴を少数のトークンへ圧縮し、時系列順に保存する。ここでいうトークンは単語ではなく、モデルが読む特徴の単位だ。動画全体を先に一つへ混ぜず、時点ごとのまとまりを残す。ただし、各時点の特徴がそのフレームだけの情報とは限らない。VideoPrism構成では、特徴を作るモデルの段階ですでに時間方向の文脈が含まれ得る。

処理は、動画集合の特徴を事前に作る段階と、問い合わせに答える段階に分かれる。既定構成では動画から16フレームを一様にサンプリングする。学習中も重みを変更しない視覚モデルで各時点の特徴を取り出し、学習する圧縮器で時点ごとに四つのトークンへまとめる。合計64トークンを時系列順に保存する。

問い合わせ時には、第1段階の検索器が返す候補を再評価する。既定の候補数は20だ。共同エンコーダは文章と保存済みの動画特徴を一緒に読み、第1段階の検索スコアも取り込んで新しいスコアを出す。元の検索結果を捨てて判断し直す構成ではなく、その判断に細かな照合を加える構成である。

索引済みの動画については、この段階で視覚モデルを再実行しない。同じ動画特徴を、新しい問い合わせでも利用できる。ただし、新しい動画を問い合わせに使う場合は、先に特徴への変換と圧縮が必要になる。「検索時の動画処理が不要」という範囲は、すでに特徴を用意した動画に限られる。

圧縮した特徴に検索情報を残すため、著者らは学習時だけ追加の予測課題を与える。ある時点の圧縮特徴から、その時点と後の時点の視覚特徴の差分を予測させる。この特徴変化の補助学習を、論文ではdeltaと呼ぶ。予測と実際の差分のずれを小さくすることで、圧縮器の学習を助ける。

教師に使うのは、特徴格子の各位置で計算した差である。人が動きを注釈する必要はない。ただし、これは物体を追跡して得た正解ではない。同じ物体の移動を直接教えたり、動作の意味を明示的に教えたりする仕組みと考えると、説明が行き過ぎる。

学習では、この課題を動画と文章の対応判定、特徴の対応を近づける学習、動画特徴を文脈に使うマスク単語予測と組み合わせる。補助予測器は学習後に除去するため、deltaの予測処理が問い合わせ時に追加されることはない。既定の予測間隔は、MSR-VTTの訓練集合内で行った3分割交差検証から選ばれた。

評価対象はMSR-VTT、MSVD、DiDeMo、ActivityNetの標準分割だ。両検索方向について、正解が上位K件に入る割合であるRecall@Kを測る。中心となるR@1は、正解を最上位に置けた割合を意味する。改善量の「ポイント」は、この割合の差であり、相対的な増加率ではない。

主な根拠は、対応する第1段階検索器と、それが返す候補をVEDJEで並べ替えた結果の比較だ。第1段階にはVideoPrismとVideoCLIP-XLを使う。ゼロショットと追加学習済みという区別は第1段階の状態を指し、再ランキング器はどちらの条件でも訓練している。したがって、全体を無学習で使った評価とは読めない。

仕組みを切り分ける実験では、候補、元のスコア入力、共同エンコーダ、キャッシュ容量をそろえ、時点別保存と特徴をまとめる方法を比較した。さらに、同じキャッシュの読み方やdeltaの有無も変えている。キャッシュ比較は原則として三つの学習乱数設定の平均と標準偏差を報告する。ただし、表示する標準偏差には0.1ポイントの下限があり、細かな数値を無制限に精密なものとしては扱えない。

64トークンのキャッシュはBF16形式で48 KiB、各時点を一つのトークンへ圧縮した16トークンでは12 KiBになる。これは特徴テンソル本体の容量だ。検索インデックスやファイルの付加情報を含む総保存量ではない。

応答時間の評価では、テキストの特徴化、候補検索、スコア処理、キャッシュ取得、GPUへの転送、再ランキングまで含めた「完全な問い合わせ遅延」を測っている。条件はMSR-VTTのT2V、VideoPrism構成、NVIDIA L40S一台、問い合わせバッチ一つ。準備実行30回の後、200回の中央値を報告した。GPUに特徴を常駐させて再ランキング部分だけを測る値とは区別する必要がある。この実験は指定条件での待ち時間を示すが、大規模な実運用全体の速度を確立するものではない。

著者報告では、64トークンのVEDJEは四つのデータセットすべてで、VideoPrismとゼロショットVideoCLIP-XLの両方について、両検索方向のR@1を改善した。たとえばVideoPrismのMSR-VTTでは、T2Vが4.5ポイント、V2Tが4.8ポイント向上した。改善幅はデータセットと方向で異なり、MSVDのV2Tでは0.3ポイントだった。

追加学習済みVideoCLIP-XLを使ったMSR-VTTの対応比較でも、T2Vは56.2から59.8へ、V2Tは55.1から58.8へ上がった。それぞれ3.6、3.7ポイントの改善である。この比較では候補と第1段階スコアを作り直し、再ランキング器も再学習している。59.8という値は、この組み合わせでの結果として読むべきだ。公表された別システム同士では、視覚モデルや学習条件が統一されていないため、数字だけで優劣を一般化しにくい。

MSR-VTTのVideoPrism構成では、deltaありのキャッシュを48 KiBから12 KiBへ減らすと、T2VのR@1は54.6±0.1から54.4±0.1になった。一方、V2Tは54.6±0.1から53.1±0.1へ下がった。同じ16時点と視覚モデルを使い、時点ごとのトークン数だけを四つから一つへ減らした比較だ。容量は4分の1になるが、精度の交換条件は検索方向で異なる。

同じ64トークン容量でも、時間ごとのまとまりを残す意味があった。deltaなしの時点別保存は、特徴を注意機構でまとめるattention poolingより、両方向のR@1が2.0ポイント高かった。容量だけでなく、情報の配置が結果に関わることを示す対照である。

読み方にも差が出た。同じキャッシュを使い、特徴間の最大類似度を集約するMaxSimと比べると、元の検索スコアを併用した共同エンコーダのT2V R@1は54.6、MaxSimは51.9だった。別々に訓練した対照では、共同特徴だけが43.8、元のスコアだけが50.1、併用が54.6だった。少なくともこの条件では、共同照合と第1段階の判断を組み合わせることが有効だった。

deltaの追加は、64トークンでT2VとV2TのR@1をそれぞれ0.6、1.0ポイント改善した。16トークンでは1.9、0.5ポイントの改善だった。T2Vでは、より小さいキャッシュで補助学習の改善幅が大きい。別の64トークンでの四回確認でも、両方向で毎回改善が報告されている。ただし、これらは著者自身による訓練反復であり、独立追試ではない。

R@1の改善を、検索品質全体の一様な向上とは読めない。MSR-VTTではdelta追加でT2VのR@1が54.0から54.6へ上がる一方、R@5は77.8から76.9へ下がった。予測間隔によって効果も変わる。さらに、共同エンコーダを約33Mから110Mパラメータへ大型化しても、両方向のR@1は改善しなかった。評価した設定では、補助課題やモデル規模を増やせばよいとは言えない。

応答時間にも条件が付く。64トークンと16トークンの完全遅延は、20候補では5.79、5.82 msでほぼ同じだった。100候補では7.83、6.33 msとなり、小さいキャッシュの方が短い。また、64トークン・100候補でも、キャッシュがホストRAMにある場合は7.83 ms、未読状態のNVMeから取る場合は11.1 msだった。保存量だけから待ち時間を判断できないことが分かる。

適合しやすいのは、同じ動画集合を繰り返し検索し、視覚特徴の作成を事前に済ませられる用途だ。ただし、VEDJEが並べ替えるのは第1段階の候補内に限られる。候補数を増やしてもR@1は一様には改善せず、候補に入らなかった正解を再ランキングで救うこともできない。

キャッシュは将来の問い合わせを知らずに固定される。視覚モデルや圧縮器を変更すると再索引が必要で、第1段階と第2段階も共同訓練されていない。保存量を抑える結果には、特徴を作り直す負担まで不要になるという意味はない。

評価は英語キャプションとウェブ由来動画の四つの集合に限られる。多言語や別の動画領域、実運用規模で同じ交換条件が成立するかは未確立だ。次に見るべき証拠は、対象データで両方向の精度が保たれるか、候補数やキャッシュ配置を含む完全経路で待ち時間がどう変わるか、そして独立した検証で結果が再現するかである。