GSTAR:空間圧縮とコード群の同時設計で自己回帰画像生成を高速化
空間系列を短くし、各位置のコード容量と依存関係の扱いを同時に設計する
G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation
論文の書誌情報と関連リンク
- arXiv初回投稿日
- 掲載先
- arXiv preprint
ポッドキャスト形式で聴く
約5分AI生成の会話音声です。記事の要点を短くまとめています。
概要
画像を離散トークンとして順に生成する自己回帰モデルは、画像内の位置が多いほど生成に時間がかかる。GSTARは空間上の位置数を減らし、各位置に持たせるコード数を増やす設計を提案した。さらに、位置内のコード間の依存を軽い処理で扱う。著者は実行時の最適化も合わせ、単一H200で1024×1024画像を2.50秒で生成したと報告する。ただし、群数や圧縮率を上げると生成品質が下がる例もある。要旨の20倍高速化は比較対象の詳細が不足しており、内訳が示された同一モデル内の高速化は8.9倍である。
なぜ注目されているか
2026年11月15日の取得時点で、Hugging Faceでは45 upvotesと3件のコメントが記録されています。同じ取得データにはGitHub starsが27件と記載されています。
議論全体へのリンク
なぜ重要なのか
自己回帰画像生成の速度を検討する際、空間系列の長さに加え、各位置の表現容量と、その内部を生成する計算量も判断材料になり得る。GSTARはこの関係を具体化した研究だ。高解像度・低バッチの条件で結果を再現できれば、画質と待ち時間を調整する設計の選択肢になる。ただし、再構成の良さだけで構成を決めると、生成の学習しやすさや遅延を見落とす可能性がある。
この記事に出てくる言葉(5語)
- 離散視覚トークナイザ
画像の特徴を、コードブックに登録された離散コードへ変換する仕組み。
この論文では空間上の各位置に複数のコードを持たせ、短い空間系列でも表現容量を確保する。
- 積量子化
特徴を複数のチャネル群に分け、各群で最も近いコードを選んで組み合わせる方法。
この論文では各位置で使うコード数を増やすための基礎となる。
- 名目ビット予算
位置数、位置ごとのコード数、コードブックの大きさから計算する固定長の容量。
この論文では空間圧縮率と群数を同時に変える際の設計基準。意味情報や生成品質の保存は保証しない。
- 半自己回帰ヘッド
Semi-AR
重い特徴計算をまとめて行い、コード間の依存を軽い因果処理で扱う出力部分。
この論文では各位置の特徴を並列計算し、単層の因果Transformerでコードを順に生成する。
- 可逆パッキング
f32g8 → f64g32
元に戻せる並べ替えによって、複数位置のコードを一つの位置へまとめる処理。
この論文では32倍圧縮・8群の格子を実効64倍・32群へ再配置する。元のコードを保持する。
1. 読む前に知っておきたいこと
画像生成では何を順番に予測するのか
自己回帰生成は、それまでに生成した内容を条件に、次の要素を予測する方式だ。離散自己回帰画像生成では、トークナイザが画像を空間的な格子に変え、各位置を離散コードで表す。生成器はこの表現を順に作り、視覚デコーダが画像へ戻す。空間上の位置が多ければ細かな情報を保持しやすい一方、順に処理する系列が長くなり、推論の遅延が増える。
そこで格子を粗くすると、一つの位置が担う情報が増える。特徴を限られたコードへ置き換える量子化の段階で、細部や意味情報が失われやすくなる。GSTARが扱うのは、この空間系列の長さと、各位置に持たせる容量との関係である。たとえば業務用の画像案を生成する場面でも、待ち時間を縮めるために格子を粗くした結果、必要な画質を保てるかが問題になる。
一つの位置に複数のコードを持たせる
GSTARの基礎となる積量子化は、画像特徴をチャネル方向の複数の群に分け、各群を最も近いコードへ置き換える方法だ。選んだコードを連結して、一つの位置の表現にする。各コードブックにK個の候補があり、群数がGなら、その位置には最大でKのG乗通りの組み合わせを持たせられる。
これにより、空間位置を減らすと同時に、位置ごとのコード数を増やす設計が可能になる。ただし、組み合わせの候補が多いことと、生成器が適切な組み合わせを学べることには、それぞれ検証が必要だ。元画像をコード化して戻す再構成と、テキストなどから新たなコード列を作る生成は、評価する過程も異なる。
コードが増えると局所的な順番が問題になる
従来の空間・深さ分解では、画像全体の文脈を扱う空間Transformerと、同じ位置のコード群を扱う局所的な因果ヘッドを組み合わせる。ヘッドとは、文脈から出力コードを予測する部分だ。因果ヘッドは先に選んだコードを参照できるが、コードごとにヘッド全体を実行すると、群数に応じて時間が増える。
完全並列ヘッドは、全コードをまとめて予測する。ただし、同じ文脈の下で各コードを条件付き独立に選ぶため、コード同士の整合を十分に扱えず、不適切な組み合わせを生む可能性がある。空間系列を短くしても、各位置の処理が重くなれば速度上の利点は縮む。GSTARは容量の配分と局所的な依存の扱いを一緒に設計する。
2. 手法と評価
圧縮率と群数を二乗の関係で動かす
論文は、画像全体の名目ビット予算を次のように置く。
HとWは画像の高さと幅、sは縦横それぞれの空間圧縮率、Gは位置ごとのコード数、Kは各コードブックの候補数である。Btotalは画像全体を固定長で表す場合の名目容量を指す。HWをsの二乗で割った値が空間位置数となり、各位置がG個のコードを持つ。
Kを固定し、軸ごとの圧縮率をα倍にすると、位置数はαの二乗分の一になる。群数をαの二乗倍に増やせば、式の名目容量を保てる。これが空間と群数の同時設計の根拠だ。ただし、この容量は学習済みコードの実測エントロピーや、有効な意味情報量を表す値には対応しない。容量が一致した構成同士でも、生成品質は変わり得る。
実効64倍と半自己回帰の仕組み
実効64倍の表現には、可逆パッキングを使う。表記のfは軸ごとの圧縮率、gは群数を示す。元のf32g8、つまり32倍圧縮・8群の量子化済み格子から、2×2位置のコードを一つにまとめ、f64g32へ並べ替える。空間位置数は4分の1になる。コードの破棄や再量子化は行わず、復号前に元の格子へ戻すため、元のf32g8と同じ再構成を得る。この同一性が成り立つ比較相手は元のf32g8である。
増えた局所コードには半自己回帰ヘッドを使う。まず、画像全体の文脈から、重い並列トランクが全スロットの特徴を一度に計算する。次に、単層の因果Transformerが、先に選んだコードと対応する特徴を参照しながら、コードを順に選ぶ。これまでの計算結果を再利用するKVキャッシュも使う。重い特徴計算の繰り返しを減らしつつ、コード間の依存を扱う構成だ。局所コードを順番に選ぶ経路は残るため、群数による遅延の影響も残る。
完成モデルの比較と、設計を切り分ける実験
主要モデルは二つある。ProはQwen3-8Bで初期化し、32倍圧縮・16群を使う。FlashはQwen3-1.7Bで初期化し、実効64倍・32群を使う。画像とテキストの学習データにはLAION、DataComp、JourneyDBなどを用い、段階的に高解像度へ進める。最終出力には、固定したトークナイザの離散コードを条件に別途学習したDiT型視覚デコーダによる精緻化も含まれる。このデコーダへの追加テキスト条件は使わない。
主評価はGenEval、DPG-Bench、PRISM、LongText-Bench、Qwen-Image-Benchの五つで、他モデルとの表比較を行う。PRISMはQwen2.5-VL-72Bが判定する英語のcombined scoreを0〜100から0〜10へ換算する。LongTextも英語部分を使う。これらは完成したモデル全体の成績を示すため、個々の設計要素の寄与は別の比較で調べる。
群数の切り分けにはImageNetを使う。32倍圧縮、コードブックサイズ16,384、画像256×256を共通とし、トークナイザを100kステップ、クラス条件付きLlama-XL生成器を50kステップ学習する。テキスト画像生成の群数・ヘッド比較では、Qwen3-1.7B初期化、32倍圧縮、512×512で100kステップの事前学習と1エポックの教師あり微調整を共通条件とする。ヘッド比較の群数は16である。
速度は何を、どの条件で測ったか
最終的な1024×1024の遅延は、H200、バッチ1、BF16で測定する。3回のウォームアップ後、独立した3試行の中央値を採る。サンプリングはCFGが1.8、temperatureが0.5、top-kが1,024という指定条件である。バックボーン、ヘッド、画像デコーダ、全体の測定範囲を区別している。
著者は半自己回帰化に続き、グローバルステップのCUDA graph化、サンプリング・正規化処理のTritonによる融合、SGLangによるバックボーン実行を累積して測る。この比較は推論パイプラインの改善を調べるものだ。学習時間やコンパイル時間の短縮までは示していない。また、512×512のヘッド比較表では時間の測定範囲が明瞭でないため、その値を最終的な全体遅延と直接つなげるには確認が要る。
3. 結果と限界
主評価では品質と速度の異なる構成を示した
以下の実験値はすべて著者報告である。GenEval、DPG、PRISM、LongText、Qwen-Image-Benchの順に、Proは0.84、83.38、6.98、0.935、50.07、Flashは0.76、80.18、6.81、0.853、46.88だった。最後のQwen-Image-Bench overallは0〜100の尺度である。ProはFlashを全五指標で上回る。
同じ表のEmu3.5は0.86、88.26、7.52、0.976、49.89、Qwen-Imageは0.87、88.32、7.41、0.943、49.23だった。ProはQwen-Image-Benchでこの二者を上回る一方、残る四指標では下回る。複数の評価で比較可能な成績を示しているが、全評価で優位という結果ではない。
評価範囲にも注意が要る。PRISMにはモデル判定による誤差があり得る。英語部分を使う評価から日本語への一般化を判断する材料も揃っていない。さらに、最終画質には別途学習した視覚デコーダが寄与するため、画質の成績から離散トークン生成器単独の効果を切り出すことは難しい。
容量の増加は生成の改善に直結しなかった
ImageNetの群数比較では、再構成の分布の近さを測るrFIDは、Gが1、8、16、32と増えるにつれ、2.0624、0.8525、0.5357、0.4325へ改善した。FIDは小さいほど良い指標で、生成画像について測る値がgFIDである。そのgFIDは同じ順に2.1057、6.3773、5.7388、17.05となった。再構成の改善と生成の悪化が同時に起きている。
表現に簡単な線形分類器を付けて測る線形プローブ精度は、81.45%から84.55%へ上がった。それでも生成品質は一貫して上がらなかった。著者はG=16の初期収束が遅く、25kステップ以降にG=8を上回るとも報告する。したがって、この比較は指定された学習量での結果として読む必要がある。
テキスト画像生成でも、G=8から16へ増やすとGenEvalは0.8060から0.8386、PRISMは5.30から5.46へ上がる一方、DPGは82.49から82.48へわずかに下がった。また、同じ学習レシピのf32g8からf64g32への変更では、GenEvalは0.8060から0.7885、DPGは82.49から80.44、PRISMは5.30から5.13へ全て低下した。元画像の再構成を保つ並べ替えでも、生成器にとっての学習課題は変わり得る。
半自己回帰は品質と遅延の折衷になった
共通条件のヘッド比較では、因果ヘッドのGenEval、DPG、PRISMは0.8386、82.48、5.46、報告レイテンシは6.44秒だった。完全並列ヘッドは0.7800、79.98、4.72、1.77秒、半自己回帰ヘッドは0.8253、82.60、5.46、3.41秒である。
半自己回帰は因果ヘッドより速く、完全並列ヘッドより三つの品質指標が高い。因果ヘッドに対してはGenEvalが下がり、DPGがわずかに上がり、PRISMは同じだった。完全並列の速度には届いていない。この比較は、局所依存を軽い処理で残す設計を支持する一方、品質を保ったまま直列処理を全て除けたという結論までは支えない。
2.50秒を支えた複数の改善と残る確認事項
Flashの1024×1024生成では、因果ヘッドを使う内部基準の22.23秒から、半自己回帰化で14.93秒、CUDA graphで5.85秒、Triton融合で3.37秒、SGLangで2.50秒になった。累積の高速化は8.9倍である。半自己回帰ヘッドに加え、実行基盤の最適化も最終値に大きく関わっている。
要旨などは従来の離散自己回帰モデルに対する20倍高速化も主張する。ただし、供給資料からは対応する比較モデル名とレイテンシの組を確定できない。内訳のある8.9倍と、それぞれの比較条件を確認する必要がある。最終遅延の試行間変動値や、全主評価の詳細なサンプリング設定も揃っていない。
適用を考えやすいのは、高解像度・低バッチの自己回帰生成で、群数、学習収束、局所ヘッド、実行基盤を一緒に評価できる場面だ。他GPUや別バッチ条件での速度、日本語での品質は追加測定が要る。次の証拠として重要なのは、比較境界を揃えた速度測定と、予定する学習量で画質を維持できるかという確認になる。
この研究から考える
ここからは、論文の結果を踏まえた編集上の考察です。
群数を増やすと再構成と線形プローブは改善したが、同じ学習設定の生成FIDは一貫して改善しなかった。この観測は、トークナイザの再構成指標を中心に容量を選ぶ判断を見直す根拠になる。予定する学習量での生成収束と、局所ヘッドの遅延まで含めて構成を比較する方針が考えられる。ただし、今回の結果から別のデータやモデル規模の最適群数は決まらない。名目容量の一致や可逆な再配置を設計上の手掛かりにしながら、生成品質は構成ごとに確かめる必要がある。