視覚指示チューニング（LLaVA）：画像と言語を結ぶマルチモーダル指示モデル

従来の画像と言語を組み合わせたAIでは、画像に対して「食品が入った冷蔵庫」といった短い説明文を付与する画像キャプション生成や、あらかじめ定めた品目の分類が中心であった。しかし、実際の対話で利用者が求めるのは固定的な説明ではない。投げかけられた指示に応じて着目箇所を変え、詳細な描写を展開し、理由や推論を述べる柔軟な対応である。

たとえば、職場の給湯室にある冷蔵庫の写真をAIに見せる状況を考えてみる。従来の画像説明であれば「食品が並んだ冷蔵庫」と一言述べて終わる。これに対して指示追従型のモデルであれば、「上段の飲み物を詳しく教えて」「ここにある食材で作れる軽食を考えて」という異なる問いかけに対し、文脈に応じた回答を作成することが期待される。

この実現には物体の検出だけでなく、視覚情報、質問の意図、言語モデルの推論能力を一体として結びつける必要がある。ただし、冷蔵庫の写真で対話の可能性が示されたとしても、それは写真内の全品目を正確に識別した証明にはならない。会話の流暢さと視覚情報の完全な把握の間には隔たりが存在する。

LLaVAの研究当時、画像の特徴を捉えるCLIPなどの視覚エンコーダと、流暢な文章生成能力を持つVicunaなどの言語モデルという二つの基盤が存在していた。しかし、両者の出力形式はそのままでは一致しないという根本的な課題があった。

CLIPは画像を数値的な特徴ベクトルの並びとして出力するが、Vicunaは単語トークンに対応する埋め込みベクトルの並びを入力として想定している。両者の数値空間が異なるため、視覚モデルの出力をそのまま言語モデルに渡しても言葉として解釈できない。

当時の標準的な手法では、この断絶を解消するために膨大な計算資源を投じて統合モデルを一から学習させるか、複雑な専用の交差注意機構を構築して接続を試みていた。だが、これらは計算量やメモリ消費を増大させ、重大な効率のボトルネックとなっていた。既存モデルの表現力を保ったまま、いかに軽量な仕組みで両者を繋ぐかが焦点であった。

自然言語処理の世界では、多様な指示文に従うようモデルを微調整する指示チューニングが普及し、未知の課題に対するゼロショット性能の向上をもたらしていた。しかし、この手法は画像と言語を統合するマルチモーダル領域では未開拓であった。

当時存在していた教材の多くは短いキャプションや機械的な一問一答にとどまり、人間と自然に対話しながら画像の文脈を掘り下げたり、複雑な推論を行ったりするデータは極めて乏しかった。高品質な視覚対話データを人手で大量に作成するには膨大なコストがかかる。そのため、接続構造の模索と同時に、画像を踏まえた対話を教え込む指示データをいかに効率的に確保するかが大きな壁となっていた。

LLaVAが示した構造的ブレークスルーは、視覚エンコーダと言語モデルの結合部に、極めて単純な「線形射影層」を単一で配置したことである。重厚な専用回路を付け足すのではなく、基本的な一次変換によって両者を繋ぐ設計を選んだ。

処理の流れを見ると、入力画像がCLIPに入り、領域ごとの特徴ベクトルの列に変換される。線形射影層はこの画像特徴に対し、重みとの掛け算による空間変換を施す。これにより、画像特徴はVicunaが単語埋め込みと同じように扱える形式の視覚トークンへと写像される。モデルはこの視覚トークンを指示文の単語トークンの先頭に並べ、ひとまとまりの入力列として言語モデルに渡す。言語モデルは視覚情報と文章の文脈を手がかりに、続く単語を一語ずつ順次生成していく。

冷蔵庫の例で言えば、射影層が「卵」や「牛乳」といった単語を直接決定するのではない。射影層はCLIPの視覚情報を言語モデルの言葉遣いへと翻訳する役割に徹し、それを受け取ったVicunaが自身の推論能力を用いて文章を組み立てる。接続部を最小限に留めることで、既存モデルの能力を損なわずに引き出す簡潔な構成が実現した。

LLaVAのもう一つの画期的な着想は、指示チューニング用の教材データを言語専用のGPT-4を活用して合成したことである。当時、画像を直接処理できるマルチモーダル版GPT-4は一般公開されておらず、利用できたのはテキスト専用のGPT-4であった。著者らは、画像を直接見られない言語モデルに視覚の対話教材を作らせる工夫を考案した。

具体的には、COCOデータセットに付随する詳細なキャプションと、画像内の物体名や位置を示すバウンディングボックスの情報を文章化し、プロンプトとしてGPT-4に入力した。GPT-4はこの記号化された情景情報をもとに、画像を見ている人間同士のような対話文を合成したのである。

作成されたデータは、基本的な「会話」、情景を細かく語る「詳細描写」、因果関係を解釈する「複雑推論」の三種類に分かれ、合計15.8万件に達した。この手法は、記号化された説明が元の画像の要点を十分に伝えているという前提に依存するものの、人手をかけずに大規模なマルチモーダル指示データを調達する新たな道を開いた。

モデル構造とデータを用意した著者らは、それらを効率的に学習させる二段階の手順を設計した。役割の異なる学習フェーズを明確に分離することで、計算効率と学習の安定性を両立させたのである。

第一段階は「特徴アライメント」である。CC3Mから選別した59.5万件の画像とキャプションの組を使用する。この段階ではCLIPとVicunaのパラメータは固定され、両者を繋ぐ線形射影層の重みだけが更新される。画像特徴を言語モデルが解釈できる表現空間へ正しく対応づけることがここでの目標である。

第二段階が「視覚指示チューニング」である。第一段階を終えたモデルに対し、GPT-4で合成した15.8万件の指示追従データを与えて追加学習を行う。ここではCLIPを固定したまま、線形射影層と言語モデルVicunaの双方を更新する。これによりモデルは、視覚情報を踏まえながら、質問の種類や指示の意図に応じて柔軟に応答する振る舞いを身につけた。

LLaVAの能力を客観的に測定するため、著者らは画像を含む科学の多肢選択式問題を扱うScienceQAで評価を行った。客観的な正解が定まっているため、推論能力の正否を正解率で直接比較できるテストである。

著者らの報告によると、LLaVA単体での正解率は89.92%を記録した。さらに、LLaVAとGPT-4の出力を組み合わせたアンサンブル条件においては、92.53%を達成したと報告されている。単純な接続層を持つモデルであっても、科学知識と視覚情報を組み合わせた推論タスクで高い正解率を示せる結果となった。

ただし、この結果を評価する際には条件の区別が不可欠である。92.53%という数値はあくまでGPT-4とのアンサンブルによる結果であり、LLaVA単体の性能ではない。単一モデルとしての実力を判断する際には、89.92%という単体の数値を基準に捉える必要がある。

自由形式の画像対話や情景描写には一意の正解が存在しないため、従来の選択式ベンチマークでは評価が難しかった。そこで著者らは、合成したマルチモーダル指示追従データを用い、GPT-4を採点者とする相対評価を実施した。

この評価では、LLaVAの回答とテキスト版GPT-4の回答を並べ、採点役のGPT-4に両者を比較させた。GPT-4自身の回答を100%とした場合の「対GPT-4相対スコア」を算出する形式である。

報告された結果では、LLaVAは総合で85.1%の相対スコアを記録した。内訳としては、情景を詳しく述べる「詳細描写」で79.4%、論理的な理由を述べる「複雑推論」で87.7%であった。重要なのは、この85.1%という数値は正解率85.1%を意味する絶対指標ではない点である。特定のプロンプトに従ったGPT-4による相対評価であり、人間による確認と同一視することはできない。

当時の実験が実証したのは、CLIPとVicunaを線形射影層で結び、二段階で学習させた構成全体が、報告された条件下で機能したという事実である。画像に対する柔軟な対話や科学的な推論において、有望な応答を生成できることが示された。

一方で、この評価には限界も残されていた。第一に、教材データの作成者も評価の採点者も同じGPT-4であるため、GPT-4特有の言い回しや好みに適合した回答が高く評価されやすいというバイアスの懸念が拭えないことである。第二に、得られた成果のうち、どれだけが線形射影層によるもので、どれだけが既存モデルの基礎能力や指示データに起因するのか、各要素の寄与度を厳密に分離した比較実験は行われていなかった。

さらに、極限スケールでの調整難度や特定ハードウェア依存性も指摘されており、当時の評価が支えるのは報告された特定構成の有効性という範囲にとどまる。

LLaVAが後続の研究にもたらした最も重要な影響は、オープンソースの視覚言語モデル（VLM）において、明快なアーキテクチャ規範を確立したことである。「事前学習済み視覚エンコーダ＋軽量な射影層＋大規模言語モデル」というモジュール構成は、その後のオープンVLMの基本的な設計指針となった。

この設計の強みは、モデルの部品を独立して進化させられる点にある。優れた視覚モデルや新しい言語モデルが登場した際、それらを軽量な射影層で繋ぎ直すことで、莫大なコストをかけずに新たなマルチモーダルモデルを構築できる道筋が示された。記録が示す通り、本作が提示した簡潔なレシピは、オープンソースにおける視覚言語モデルの発展を牽引する基盤として定着していった。

本作は学術的にも高い注目を集め、NeurIPS 2023においてOral発表として採択された。同時に、オープンソースコミュニティからも強い支持を受け、Hugging Faceでは590件の賛同票を獲得し、引用数は4000件以上を記録している。

コミュニティの反響として記録されているのは、画像エンコーダと言語モデルを単純な線形層で繋ぐだけで、これほど流暢に画像について議論できることへの驚きであった。商用の画像対話AIが広く行き渡る前の時期に、誰もが検証可能なオープンなモデルを提供したことは、コミュニティにおけるマルチモーダル対話技術の普及を大きく後押しした。

歴史的な位置づけを正しく理解するには、直接の継承関係と、拡大解釈を峻別しなければならない。後続研究に直接受け継がれたのは、既存モデルを軽量な層で接続するモジュール設計と、言語モデルを活用して視覚指示データを合成・微調整するアプローチである。

一方で、記録が裏付けていない事柄まで影響を広げることは避けるべきである。すべての後続モデルや商用システムがLLaVAと同一の線形射影層を採用しているわけではなく、線形層一枚が将来にわたる最良の解であると証明されたわけでもない。本作の貢献は、完璧な最終形を提示したことではなく、後続の開発者が改良を重ねるための堅実で明快な共通の出発点を提供したことにある。

現代の視点から振り返った際、LLaVAの明白な物理的制約は視覚エンコーダの入力解像度の低さにある。当時用いられたCLIPの解像度は一辺が224ピクセル、あるいは336ピクセル程度に限られており、画像をこのサイズに縮小して処理する必要があった。

この解像度制限は、実務における細かな視覚認識において情報の欠落をもたらす。冷蔵庫の例を再び引くならば、全体像から「牛乳パックや野菜がある」と大まかに捉えることはできても、容器のラベルに小さく印刷された賞味期限の文字を読み取ることは極めて困難である。また、棚の奥に重なった缶の正確な個数を数えたり、細かな三次元の距離感を把握したりする際にも誤りが生じやすい。

書類の文字認識や図表の解析といった高精細さが求められる業務に対しては、当時の設計をそのまま適用することはできず、解像度を補う後続技術が前提となる。

二つ目の深刻な課題は、画像内に実在しない物体や特徴をあたかも存在するかのように語る「ハルシネーション」である。言語モデルであるVicunaは自然で説得力のある文章を生成する能力が高いため、視覚情報に基づかない誤った記述であっても滑らかに出力してしまう。

たとえば、冷蔵庫に存在しない調味料を、過去のレシピ知識に基づいて「中にある調味料を加えて」ともっともらしく提案してしまう失敗である。文章が整っているため、利用者はAIが画像を確認して答えたと誤認しやすくなる。文章の流暢さは、視覚的な正確さを保証するものではない。

また、本作の検証は基本的に単一画像の対話に限られており、複数画像の厳密な比較や動画の時系列変化の理解へ結果をそのまま広げることはできない。

教材作成と採点の双方がGPT-4に依存していた点や、単一画像対話を中心とした評価スコアは、現代の検証基準から見れば限定的であったと評価せざるを得ない。大規模環境でのハイパーパラメータ調整難度や特定ハードウェア依存性も記録に残る制約である。

それでも、LLaVAが残した洞察は色褪せていない。強力な基礎モデルが存在するならば、接続部を過度に複雑化させず、質の高い指示データを与えることで効率的に高度な対話モデルを構築できるという思想は今なお有効である。

実務者がマルチモーダルAIの選定において求めるべき証拠は、単一の総合スコアや流暢さではない。自動評価とは独立した人間による事実確認、自社の業務画像における認識精度、そして存在しない物体を語らないハルシネーション耐性の客観的データを検証することが肝要である。