good-view JEPAで表現はなぜ整列するのか――プラトン的表現仮説の十分条件と実験

画像モデルと文章モデルは、入力を数値の列である特徴ベクトルに変換する。本論文が問うのは、それぞれを別々に学習しても、同じ世界について似た関係を表すようになる条件だ。出力文が似るという話ではなく、表現空間の中で何と何が近くなるかという問題である。

背景にあるプラトン的表現仮説は、大きな視覚・言語モデルほど表現が似るという観察から提案された。本論文は、この規模と整列の相関を、学習で結ぶ対象の関係から説明しようとする。著者はRandall BalestrieroとYann LeCun。提供資料で確認できる出版状態はarXivプレプリントである。

理論の中心となる「回転まで一致する」は、座標の向きが違っても、回転で合わせれば同じ表現になるという意味だ。座標そのものを一致させなくても、対象どうしの関係は共有できる。実験では、この厳密な一致に加え、近傍関係や検索性能を使って整列の程度を調べる。

写真に対応する説明文を検索する仕事を考えよう。同じ写真にも、異なる書き手や説明方法による複数の文章がある。この研究のgood-view JEPAは、それらを同じ場面の異なる観測として扱い、正例、つまり表現を近づける組にする。

対照となるbad viewsは、一つの説明文を切り出したり変形したりして正例を作る。こちらは元の文章に固有の言い回しを共有するため、場面の内容と文章固有の特徴を区別する必要が弱くなり得る。異なる説明文を結べば、言い回しが違っても共通する場面を捉えることが、表現を近づける手掛かりになる。

ただし、異なる説明文があれば、理論上の独立した観測を完全に実現できるわけではない。また、badという名前は、単一観測の変形があらゆる用途で劣るという意味ではない。本論文が重視するのは、他のモダリティと共有できる場面情報をどれだけ表すかである。

JEPAは、正例の特徴ベクトルを近づける学習方式だ。ただし、それだけなら、すべての入力を同じベクトルにしても目的を満たせてしまう。この状態を表現の崩壊と呼ぶ。そのため本論文では、正例を近づける目的と崩壊を防ぐ制約を組み合わせる。

理論では、表現の平均をそろえる中心化と、各方向の分散や相関をそろえる白色化を施した二乗誤差型の設定が重要になる。この制約によって、入力の違いを残しながら、どの関係を表現へ取り込むかを解析できる。実験にはLeJEPAの目的を使うが、後で見る通り、実験の制約と理論で一意性を証明した制約は完全には同じではない。

理論は、有限個の世界状態を、それぞれのモダリティが観測する設定から始まる。観測は異なる世界状態を区別でき、各モダリティで状態の現れる分布が共通していると仮定する。さらに、どの状態どうしを正例にするかという分布も共通だとする。

この条件では、入力が画像か文章かという違いを取り除くと、各モデルは世界状態の上で同じ目的関数を解くことになる。目的関数が回転に影響されず、その最適解が回転の違いを除いて一つなら、別々に学習しても表現は回転まで一致する。これが十分条件の骨格だ。整列するあらゆる場合にこの条件が必要だと述べているわけではない。

白色化した二乗誤差型JEPAでは、正例関係を正規化してまとめた行列から、主要な固有方向を選ぶ問題として解を表せる。固有方向とは、その関係を特徴づける方向である。選ぶ方向と選ばない方向の境界にスペクトルギャップがあれば、選択が明確になり、回転までの一意性を得られる。正例関係が完全には同じでない場合も、著者らは、行列の差とこのギャップから整列誤差の上限を示した。

次に著者らは、同じ世界状態でも、観測ごとに固有の変動が入る場合を扱う。写真の説明文なら、場面の内容に加えて、その説明に固有の言い回しが入る。論文が整列にとってのnuisanceと呼ぶのは、このような共有されない変動だ。

good viewsは、場面を共有する独立した観測を結ぶため、観測固有の変動より共有情報を表す方向へ働く。一つの観測を変形するbad viewsでは、変形後にも固有の情報が共通して残り得る。著者らは、白色化表現がどれだけ場面で説明されるかを表す「場面説明率」を定義し、それが低いほど、最適な回転でも残る誤差の下限が大きくなると示す。

ここでの固有情報は、用途によっては必要な情報でもある。視点などを保持したい仕事に、その除去をそのまま勧めることはできない。また、この理論から、次トークン予測の整列が必ず悪いとは導けない。次トークン予測には回転より広い線形変換の不定性があり、スペクトルJEPAの定理を直接適用できないためだ。

基本実験はFlickr30kのKarpathy分割を使い、訓練用の29k画像と各画像の5キャプションを利用する。画像側のViT-S/16と、文章側の33MパラメータのBERTを別々に学習した。比較の焦点は文章側で、good views、bad views、次トークン予測を比べる。

good viewsは同じ画像の異なるキャプションから、長い区間と短い区間を合わせて8ビュー作る。bad viewsも8ビューだが、元になるのは一つのキャプションだ。次トークン予測では同じBERTを因果的な予測に使い、さらに同じ画像の2キャプションを与える対照も設ける。複数の説明文を使う効果と、学習目的の違いを検討するための比較である。

評価には1,014の検証ペアと1,000のテストペアを使う。mutual 10-NNは、座標をつなぐ写像を学習せずに近傍関係の一致を見る。一方、画像から文章を探すR@1とR@5は、検証ペアで推定した直交写像を使う。この二つを区別すると、表現自体の関係が似ているのか、対応ペアで接続した後に検索できるのかを読み分けられる。

大規模実験では、Recap-DataCompの各画像に付くalt-textと、LLaVAが画像から生成した2つの説明文を使う。109MパラメータのBERT-Bを、940M画像由来の文章から900Mサンプルで学習し、同じエンコーダー・文章・サンプル数のbad-view JEPAと次トークン予測を対照とした。

主要な評価先は1,024ペアからなるWIT-1024で、DINOv2 ViT-Bとのmutual 10-NNを測る。ここでは各層の特徴を処理した後、画像側と文章側の全層ペアの最大値を採る。加えて、表現の線形な類似性を測る線形CKAやCOCOでも確認している。したがって代表値は、特定の評価手順における整列の値である。文章生成や推論を含む総合的な能力順位には読み替えられない。

以下の数値は、いずれも著者らの報告である。Flickrのテスト1,000ペアで、別学習した画像JEPAと比べた3シード平均では、good-view JEPAのmutual 10-NNは0.062、bad viewsは0.047、次トークン予測は0.042だった。R@1も順に0.044、0.027、0.021となった。2キャプションを与えた次トークン予測のR@1は0.023で、good viewsには届かなかった。

同じ文章と文章エンコーダーでも、何を正例にするかで整列が変わるという主張を支える結果だ。一方、学習方法の細部も効く。凍結DINOv2につないだ別の比較では、短い区間を含む標準設定のR@1が0.246なのに対し、全文ビューでは0.185だった。この値は、画像側の条件が異なるため、先ほどの0.044と直接比較すべきではない。

安定性も完全ではない。勾配クリッピングなしでは、標準の崩壊防止項の重みを使う36実験中3実験が崩壊した。クリッピングを使っても、高い学習率などの条件では崩壊が残った。良い正例を用意すれば学習が自動的に安定する、という結果ではない。

大規模比較で目を引くのは、学習サンプル数の差だ。同じ109Mエンコーダーと同じコーパスで、good viewsは21.6MサンプルでWITの10-NNが0.109に達し、次トークン予測は900Mサンプルで0.111だった。約42倍は、この学習サンプル数の比較である。規模ごとに学習設定が異なり、次トークン予測の途中チェックポイントも未評価なので、最小到達時間や計算費用の42倍削減とはいえない。

900Mサンプルで学習したgood-view JEPAは、選択した崩壊防止項の重みでの3シード平均が10-NN 0.184、線形CKA 0.507だった。比較したQwen2.5-72Bは0.154と0.418、Llama-3-70Bは0.151と0.380で、109MのJEPAがこの整列評価では上回った。同じ文章で学習した次トークン予測とbad viewsの10-NNは、それぞれ0.111、0.088だった。

ただし、調整はgood views側に限られ、大規模実験の重みはWITの結果を見て選ばれている。重みを倍にした追加シードは0.121で、それを含む4シード平均は0.168だった。代表値とともに、この条件感度も判断材料にする必要がある。

good viewsの効果と、文章の生成元の効果は分けて考えたい。同規模のBERT-S実験では、alt-textに文章だけの言い換えを加えた条件の10-NNは0.060、画像を見て作った2つのLLaVA説明文を加えた条件は0.107だった。alt-textのbad viewsは0.055である。文章の言い換えにも改善はあるが、画像由来の再説明が大きく寄与している。

大規模学習の3文中2文は、画像・文章学習済みモデルに由来する。さらに、同じ画像の説明だと分かるグループ情報も必要だ。画像と文章の対応情報を一切使わずに共通表現が生まれた、と解釈するのは適切ではない。

評価データにも留保がある。WITの少なくとも43キャプションは訓練文章と重複し、確認した9モデルで重複を除いた変化は最大0.002だった。確認範囲での変化は小さいが、WIT自体が1,024ペアと小さく、未知の画像重複を完全には排除できない。より広い評価で差が保たれるかが、次の証拠となる。

理論が置く有限世界、情報を失わない観測、共通の分布、母集団での最適解という条件は強い。実際の文章が画像の情報をすべて保持するとは限らず、有限データでのニューラルネット学習が最適解へ到達する保証もない。実験で使うLeJEPAの全分布制約については、回転までの一意性を仮定しており、その証明が実験全体を覆っているわけではない。学習する予測器や異なる次元をつなぐ写像も、理論の対象外だ。

著者らは、good viewsの割合、画像数、学習サンプル数からR@1を予測する経験則も報告した。追加85実験の予測誤差は0.0093で、シード間の差0.0096と同程度だった。しかし320Mサンプルでは、予測0.455に対し実測0.418となった。これは一つの学習設定に基づく経験式で、反復データの効果を十分に扱えていない。

適用候補は、同じ場面の複数の説明を確保し、別学習モデルの幾何を近づけたい用途である。対応関係を信頼できないデータや、観測固有の視点そのものを残したい用途には、そのまま広げられない。次に確かめたいのは、調整機会をそろえ、生成キャプションへの依存を切り分けた条件でも改善が続くかだ。