潜在空間拡散モデル（LDM）：知覚的圧縮による高解像度画像合成

画像生成分野では敵対的生成ネットワーク（GAN）が広く使われていたが、学習が不安定になりやすく生成画像の多様性に乏しい課題を抱えていた。これに対し、ノイズを段階的に取り除く拡散モデル（DDPMやIDDPM）が登場し、高い生成品質と柔軟な誘導性から注目を集めた。

しかし初期の拡散モデルには、全工程を最終画像と同じ画素の並び（画素空間）で直接実行するという計算上の制約があった。広告案として「木製の机の上に置かれた赤いマグカップの画像」を512×512ピクセルで生成する場面を考えると、全画素と3色チャンネルからなるデータに対し、ノイズ予測処理を何十回も反復しなければならない。そのため学習には数百GPU日もの計算資源を要し、推論時間も極めて遅く、巨大な計算環境を持つ一部の研究組織以外には実用が困難であった。

なぜ画素空間の処理は重くなるのか。著者らは画像に含まれる情報の性質に着目した。画像には、視覚にとって本質的な大域的構造や意味情報と、知覚上ほとんど差異を生じさせない微細な高周波ノイズが混在している。

広告画像の例でいえば、机の木目、赤いマグカップの輪郭や取っ手の位置、机との配置は意図の伝達に欠かせない情報である。一方、個々の画素のわずかな揺らぎは人間にはノイズと大差ない。従来の画素空間拡散モデルは、知覚上わずかな差しかない高周波成分に対しても、全体構造と同じ解像度で等しく反復計算を割り振っていた。この無駄を省き、知覚的な本質を損なわずに計算対象の規模を縮小することが課題となった。

計算負荷を下げる有力な方法が、オートエンコーダによる潜在空間の活用である。オートエンコーダは、高解像度画像をコンパクトな潜在表現へ変換するエンコーダと、その表現から元の画像を復元するデコーダからなる。

知覚的に等価な特徴を保ちつつ高周波ノイズを省いた潜在空間を構築できれば、拡散モデルの反復処理をその小さな空間内で行える。ただし、ここには品質と効率の境界が存在する。空間を小さく圧縮しすぎると計算は軽くなるが重要な視覚情報まで失われ、圧縮が緩すぎると計算削減の利点が薄れる。品質を落とさずにどこまで空間を圧縮し、どのような正則化で拡散モデルと接続するかが核心的な問いであった。

LDMの核心的な着想は、画像生成を「知覚的圧縮」と「生成的モデリング」の2段階に分離した点にある。

第1段階として学習済み正則化オートエンコーダを用意する。エンコーダは高解像度画像を入力とし、空間解像度を縮小した低次元の潜在変数へと射影する。論文では縦横を8分の1に縮小する設定（f=8など）が示され、二次元平面上の要素数は64分の1へと大幅に小さくなる。潜在空間が極端に散らばらないよう、KL正則化またはVQ正則化を適用して性質を整えている。

生成時は得られた潜在変数をデコーダに一度通すだけで元の高解像度画素へと復元する。マグカップの例でいえば、生成中は全画素を直接扱わず、カップの赤さや形状が集約された64分の1サイズの潜在表現を操作し、最後の1回だけデコーダで高精細な画像へと復元する。

第2段階として、LDMは拡散プロセスの学習とサンプリングを完全に低次元潜在空間内で行う。前方向過程では圧縮された潜在変数へガウスノイズを加え、逆方向過程ではU-Net構造のネットワークが各ステップのノイズを予測するよう学習する。

重要なのは拡散モデルの生成原理を捨てたのではなく、ノイズから段階的に構造を立ち上げる利点を維持したまま、反復処理の場を小さな潜在空間へ移したことである。生成時は潜在空間のランダムノイズから開始し、U-Netでノイズ予測と除去を繰り返して潜在変数を整える。反復計算が大幅に縮小された特徴マップ上で行われるため、1ステップあたりの計算量とメモリ消費量が大幅に削減される。

LDMは、指示入力を柔軟に反映させる仕組みとして、U-Netの中間層にCross-Attention層を組み込んだ。

プロンプト文字列はCLIPなどのエンコーダで特徴ベクトルへ変換される。U-Netの各層では、潜在空間で処理中の画像特徴がテキスト情報のどこを参照すべきかを動的に計算する。これにより、「木製の机」「赤い」「マグカップ」といったテキスト情報を参照しながら潜在特徴が更新され、指示に沿った画像構造が段階的に形成される。この機構はバウンディングボックス等のレイアウト情報にも使える共通の接続口として機能する。

なお、マグカップの例は直感的な理解のための比喩であり、潜在空間に各単語が個別に分離して格納されているわけではない。潜在空間で扱われるのは抽象的な多次元データであり、Cross-Attentionはその抽象表現同士を関係付ける仕組みである。

著者らは提案したLDMを複数の画像生成課題で評価した。その代表例がMS-COCOデータセットを用いたテキスト条件付き画像合成である。評価指標には、生成画像群と実画像群の特徴量分布の近さを測るFIDが用いられた。FIDは数値が低いほど実画像の分布に近いことを示す。

比較対象には従来の画素空間拡散モデル、GAN、自己回帰モデルが設定された。この評価において著者らは、MS-COCOのテキスト条件付き画像合成でFID 10.56を達成したと報告した。この記録は先行する画素空間拡散モデルやGANを上回るものであり、画像を潜在空間へ圧縮しても生成品質が損なわれず、先行手法に比肩あるいは凌駕する品質を達成できることが示された。

品質指標に加えて実用面で注目されたのが、必要計算資源の大幅な削減である。従来の画素空間拡散モデルでは、高解像度画像の生成に100台以上のA100 GPUクラスタや数百GPU日の計算を要していた。

これに対し、知覚的圧縮により空間サイズを抑えたLDMでは、ビデオメモリ10GBを搭載した単一のコンシューマ向けGPU（RTX 3090など）で、512×512ピクセルの画像を数秒で生成できることが独立に観測された。机の上の赤いマグカップの画像を、巨大データセンターを介さず個人の作業環境で数秒のうちに確認できるようになったことを意味する。この検証は、拡散モデルが研究用スーパーコンピュータの専用物から実用ツールへと移行できる客観的根拠となった。

当時の実証データを解釈する際は、何が確かめられ、何が確かめられていないかを区別する必要がある。評価が示したのは、「適切な圧縮率のオートエンコーダを用いれば、潜在空間での拡散によって計算負荷を抑えつつ、高い分布類似度の画像を合成できる」という全体的有効性である。

しかし、この結果がすべての実用面を保証するわけではない。FIDは画像群全体の統計的分布を評価する指標であり、生成された個々の画像がプロンプトの指示を完全に満たしているか、あるいは業務上の細部要件を満たしているかまでは単独で示さない。また、数値はMS-COCOという特定データセットと実験条件下での著者報告であり、異なる画像分野や運用環境において同様の性能が無条件に再現できるとまでは示していない。

記録に裏付けられたLDMの最大の影響は、本作がのちに普及した「Stable Diffusion」の直接の原典となったことである。筆頭著者のRobin Rombach氏は、ミュンヘン大学のBjörn Ommer教授が率いるCompVis研究室で博士研究を行い、VQGANやLDMの理論的成果を基盤としてStable Diffusionの筆頭開発者を務めた。同氏はその後、Stability AIや、画像生成モデルFLUX.1を手がけるBlack Forest Labsの共同創業者としても活動している。

LDMが提示した潜在空間での拡散とCross-Attentionによる条件付けは、高解像度画像生成を単一のコンシューマ向けGPUで実行可能にした。莫大な計算資源を持つ研究機関に限られていた画像生成環境が個人の手元へ広がったことで、記録にある「画像生成AIの民主化」を推し進める契機となった。

技術設計の観点では、画像生成を「知覚的圧縮」と「生成的モデリング」に分ける二段階構成を定着させたことが大きな転換点となった。画素空間で直接すべてを解くのではなく、コンパクトな潜在空間内でノイズ除去と条件統合を完結させる手法は、後続の生成システムにおける有力な設計パターンとして受け継がれた。

ただし歴史的影響の記述においては、記録にある事実と過剰な一般化を区別しなければならない。提供された記録で直接確認できるのは、CompVis研究室の研究系譜、Stable Diffusionへの直結、および著者らが関与したFLUX.1などの展開である。記録には後続のすべてのモデルの網羅的なベンチマークが記されているわけではない。したがって、本作の意義は「手元環境での高解像度生成を可能にし、Stable Diffusionの技術的礎を築いた成果」という明確な事実の範囲で捉えるのが妥当である。

現代の視点から見たLDMの最大の技術的制約は、オートエンコーダの圧縮限界に由来する微細構造の崩れである。LDMは計算効率を高めるために空間解像度を8分の1などに圧縮するが、この過程で微細な高周波情報が不可避的に削ぎ落とされる。

その結果として生じるのが、極小の文字や記号、人間の手や指の描写が歪む問題（手崩れ問題）である。広告画像の例でいえば、机の上のマグカップの形状は描けても、マグカップに印字された小さなブランドロゴの英文字が潰れて読めなくなったり、カップを持つ手の指が不自然な形状になったりする。エンコーダが潜在表現へ圧縮する際に失われた細部情報は、後段の拡散モデルがいくら高精度にノイズを除去しても、デコーダが復元を試みても、原理的に元の正確さを取り戻すことはできない。

もう一つの制約は、反復サンプリングに伴う推論遅延が残る点である。潜在空間への移行で1ステップあたりの処理は大幅に軽くなったが、ノイズから段階的に画像を立ち上げる拡散の基本構造は変わらない。

記録にあるように、高速サンプラーであるDDIM等を用いた場合でも、一定の品質を保つには20から50ステップの反復計算が必要とされる。これは、ネットワークを1回通すだけで画像を出力する単一順伝播型のモデルと比べると、依然として多数の計算ステップを直列に繰り返す必要があることを意味する。コンシューマGPUで数秒で出力できるようになったとはいえ、ミリ秒単位の即時応答が要求される対話型システムや高頻度のリアルタイム処理では、この反復遅延が引き続き考慮すべき制約となる。

LDMが示した知覚的圧縮と生成的モデリングの分離は、計算効率を改善する有力な手段として現代でも重要な価値を持つ。大域的な構図や意味の処理に計算を集中させる設計は、生成AIのアーキテクチャを考える基本指針の一つである。

しかし実務導入を検討する際は、ベンチマークの数値や一般的な評判をそのまま鵜呑みにすることは避けるべきである。自社の用途において、オートエンコーダの圧縮による文字や手指の歪みが許容できるのか、それとも厳密な形状保持が必須なのかを最初に見極めなければならない。また、数秒の生成時間が業務フロー上許容されるのかを判断するためにも、自社の実データと目標環境を用いた個別検証を行う姿勢が不可欠である。