CLIP：自然言語による教師あり学習を用いた汎用視覚モデルの獲得

従来のコンピュータビジョンにおける主流な枠組みは、あらかじめ定義された固定的なカテゴリ一覧に対してモデルを訓練する手法でした。標準的な指標として広く用いられてきたImageNetでは1000種類のクラスがあらかじめ定められており、分類モデルはその限られた枠組みの中で予測確率を出力するようクロスエントロピー損失を用いて学習されます。この仕組みは、境界が厳密に守られた閉じた評価環境では高い性能を示しました。しかし、実務や実環境で直面する多種多様な視覚概念に対しては深刻な制約を抱えていました。事前学習済みモデルを下流タスクへファインチューニングする手法も普及していましたが、定義外の新たな概念を認識させるには、その概念の正解画像を大量に集めてラベルを付け、モデルを再学習しなければなりませんでした。この事前準備にかかるアノテーション工数と費用が、画像認識技術の柔軟な展開を妨げる大きな壁となっていたのです。

この制約を打開するために着目されたのが、インターネット上に無数に存在する画像とテキストの自然な組み合わせでした。人間がWebに投稿する画像には、キャプションや説明文といった自然言語が付随しています。自然言語は固定的な単語リストよりもはるかに豊かな表現力を持ち、多様な視覚概念を柔軟に記述できます。特定のカテゴリ番号を予測する代わりに、「どの文章がどの画像に対応するか」を直接学ばせることができれば、人手によるラベル付けに縛られない汎用的な視覚表現が得られるのではないか。この着想が、OpenAIのアレック・ラドフォードやイリヤ・サツケヴァーらによるCLIP（Learning Transferable Visual Models From Natural Language Supervision）の出発点でした。Web上のテキストそのものを教師信号とすることで、固定アノテーションの限界を乗り越え、より広範な概念を捉えることが目指されました。

本稿を通じた具体例として、社内の写真を「会議室」「倉庫」「店舗」という用途別に分類する業務を考えます。従来手法では、各用途の写真を数百枚集めてラベルを付与し、専用の分類器を個別に学習させる必要がありました。途中で「休憩室」を追加したくなれば、既存モデルは対応できず、再びデータ収集と再学習が不可欠となります。CLIPが目指したのは、こうした用途別の個別学習を挟まず、言葉による指示だけで即座に分類できる柔軟性でした。ただし注意すべき前提として、この社内写真の例は分類手順を直感的に理解するための業務シナリオであり、原論文で社内施設写真がテストされたわけではありません。研究での学習対象はWeb上の4億組の画像・テキスト対であり、評価はImageNet等の公開学術ベンチマークで行われています。この実務例と研究条件の違いを念頭に置きながら、その仕組みを見ていきます。

CLIPの技術的な中核は、画像と自然言語という異なる性質の情報を同一の意味空間（共通埋め込み空間）の中へ整列させた点にあります。このためモデルは、画像エンコーダとテキストエンコーダという二つの独立した処理器を備えています。画像エンコーダにはResNetまたはVision Transformer（ViT）が用いられ、画像の特徴を多次元の数値ベクトルへと変換します。一方のテキストエンコーダにはTransformerが採用され、文章の意味を同様の数値ベクトルへと変換します。重要な工夫は、双方が別々に出力するのではなく、同一の意味空間上で直接比較できるように射影される設計になっている点です。社内写真の例で言えば、会議室の写真から得たベクトルと「会議室の写真」という文章から得たベクトルが、幾何学的に近い位置に配置されるような共通の物差しを構築したのです。

二つのエンコーダを協調させるため、著者らは4億組のデータに対して対称対照学習（InfoNCE損失）を適用しました。学習の1単位（バッチ）には32768組の画像・テキスト対が同時に投入されます。バッチ内には正しく対応する32768組の正のペアがある一方、それ以外の組み合わせである約10億通り以上の不一致な負のペアが含まれます。モデルはベクトルの大きさの影響を除いたコサイン類似度を行列として計算し、温度パラメータで類似度の尺度を調整します。そして、「画像に対応する正しい文章を選ぶ」方向と「文章に対応する正しい画像を選ぶ」方向の双方からクロスエントロピー損失を計算します。正のペアの類似度を高め、負のペアの類似度を低く抑え込む双方向の最適化により、画像と言語の対応関係が幾何学的な意味空間として効率的に整えられていきます。

共通空間が獲得されたことで、画像分類の形式は大きく変わりました。学習済みのCLIPには特定のクラスを出力する専用層が存在しません。代わりに、分類したい候補名を自然言語の文章（プロンプト）に落とし込み、テキストエンコーダを通じて分類器を動的に構成します。代表例は「A photo of a {label}（{label}の写真）」という形式です。社内写真の整理であれば、「会議室の写真」「倉庫の写真」「店舗の写真」という文章を用意してテキスト埋め込みを作成し、入力写真の画像埋め込みとのコサイン類似度（内積）を比較して最も近いものを予測とします。対象タスクの正解画像で追加学習を行わないゼロショット分類が可能となり、後から「休憩室」を追加したい場合も、新たな文章を用意して比較対象に加えるだけで対応が完了します。

著者らは転移能力を検証するため、30を超える画像データセットで広範な評価を実施しました。中心的な比較基準となったのはImageNet（1000クラス分類）で、主要指標には最上位の予測が正解と合致した割合を示すトップ1精度が用いられました。実験の結果、ImageNetの正解画像を一切追加学習していないゼロショットのCLIP（ResNet-50）が、トップ1精度76.2%を記録しました。これは、ImageNetの全訓練データを用いて丹念にクラス分類を学習させた従来の教師ありResNet-50の精度（76.2%）と同等の水準でした。この結果は76.2ポイントの向上を意味するのではなく、追加学習なしのモデルが専用学習を行ったモデルと同じ76.2%に並んだことを示しています。自然言語による広範な事前学習が、固定ラベルに対する専用学習に匹敵する汎用性をもたらすことが実証されました。

さらに原論文で重要視されたのが、画像の見え方が通常と異なる「分布シフト」に対する堅牢性です。従来の視覚モデルは、学習データと似た構図には強くても、アングルや照明、背景が変化すると精度が大きく低下する課題を抱えていました。著者らは、教師ありモデルが誤認識しやすい自然画像を集めたImageNet-Aベンチマークにおいて耐久性を検証しました。その結果、従来の教師ありモデルのトップ1精度が約2.0%にまで激減したのに対し、ゼロショットCLIPは77.1%を維持しました。特定のデータセットの構図に過剰適応せず、自然言語との多様な対応を通じて対象の概念を捉えていることが、この分布シフト環境における粘り強さとして確認されたのです。

これらの検証結果を受け止める際には、証拠が示している範囲と示していない限界を正確に区別する必要があります。多数のデータセットでの成果は、対照学習による視覚表現が多様な分類課題へ転移できるという主張を支持しています。一方で提供された記録には、4億組というデータ規模、エンコーダの構造、InfoNCE損失、プロンプト設計などの各構成要素が性能の何割を担ったかを切り分ける独立したアブレーション実験の数値が含まれていません。したがって報告値は、全要素を統合した複合システムとしての結果として解釈すべきです。また、学術ベンチマークでの成功が、任意の業務画像や特有の分類タスクでの同等性を自動的に保証するわけではない点にも留意が必要です。

CLIPがAI研究に及ぼした重要な影響は、画像認識を「閉じたラベル分類器」から「視覚と言語を接続するマルチモーダル基盤」へと再定義した点にあります。それまで別々の領域として扱われがちだった画像処理と自然言語処理が、共通の幾何学的ベクトル空間を介して統合されました。これにより、視覚情報は言葉で検索・操作できる対象へと変わりました。社内写真の整理のように分類枠を言葉で柔軟に切り替えるだけでなく、テキストによる画像検索や指示に基づく画像処理を組み立てる共通基盤として埋め込み空間が機能するようになり、自然言語の監督下で視覚表現を学ぶ設計がその後のマルチモーダル研究の基本形として定着していきました。

本研究のマイルストーン選定理由では、CLIPが「固定カテゴリ分類から脱却し、Web上の自然言語と画像の対照学習によりゼロショット認識を実現し、Stable DiffusionやVLM（視覚言語モデル）など現代マルチモーダルAIの共通の眼となった」と位置づけられています。画像生成モデルにおけるテキスト指示の解釈や、言語モデルと視覚を融合したVLMの受容部において、CLIPが切り拓いたアライメント技術が重要な参照点として受け継がれてきました。著者陣の系譜としても、GPTシリーズやWhisperを先導したアレック・ラドフォードや、AlexNetからTransformer、GPT-4に関わったイリヤ・サツケヴァーらが、言語モデルの事前学習思想を視覚分野へ持ち込んだ先駆的事例となっています。

ただし、歴史的影響を評価するにあたっては、記録された典拠が直接示している事実の境界を厳密に保つ必要があります。本記録における一次文献は原論文（arXiv:2103.00020）のみです。選定理由にはStable DiffusionやVLMといった後続技術への言及がありますが、原論文の本文中にこれら後続モデルに対する実験や採用実績が直接記録されているわけではありません。したがって記録から確認できるのは、自然言語監督による対照学習という設計が示され、それが後続のマルチモーダル発展において重要な技術的転換点として参照されているという事実までです。後年の普及を原論文単体の実験結果と同一視せず、典拠に基づく慎重な理解が求められます。

現代の視点からCLIPを精査すると、特定の認識能力における明確な弱点が浮かび上がります。著者ら自身が言及している通り、CLIPは画像全体の主題や主要被写体の把握には優れているものの、「物体の数え上げ」や「上下・左右といった空間的位置関係」の理解を苦手としています。職場写真の例で言えば、「倉庫」という場所の識別は正確に行えても、「箱が3個ある倉庫」と「箱が4個ある倉庫」の差異を文章で見分けさせようとすると判定を誤る傾向があります。同様に、「棚の左に脚立がある」のか「右にあるのか」を識別することも困難です。大まかな意味の近さを捉える設計は、細かな幾何学的・構文的関係を厳密に識別する能力までは担保していません。

第二の構造的限界は、事前学習に用いられたWebスクレイピングデータに起因します。収集された4億組の画像とテキストは人手による厳格な品質管理を経ておらず、Web上に存在する社会的偏見やステレオタイプ、不適切なコンテンツをそのまま含んでいます。それらは対照学習を通じて埋め込み空間の特徴表現へと取り込まれてしまうリスクを抱えています。ベンチマークで高い分類精度を達成しているからといって、モデルが中立的かつ安全であるとは言えません。実務において人物や公共性の高い対象を扱うシステムに組み込む際には、出力される類似度に偏りが内在していないかを個別に点検する倫理的・技術的監査が不可欠となります。

運用上の課題としては、候補文の表現形式（プロンプト）によって分類精度が変動する点が挙げられます。単に単語を与えるよりも文脈を補う文章にした方が精度が向上する一方、言い回しの違いで類似度の順位が入れ替わる現象が記録されています。これは実務において、求める精度を得るためにプロンプトの調整作業が必要になることを意味します。したがってCLIPの実務導入にあたっては、学術ベンチマークの数値をそのまま前提とせず、対象業務の画像が事前学習の傾向に合致しているか、数え上げや位置関係の厳密さが要求されないか、表現の揺らぎに耐えうるかを個別に実測・評価するプロセスが不可欠です。