HC-DLM：連続潜在状態とトークンの反復更新で並列生成の依存関係を扱う

言語モデルの出力では、各トークンが単独でもっともらしいだけでは足りない。論理や構文の整合性は、複数位置の組み合わせに依存する。論文が問題にするのは、離散拡散モデルで複数位置を同時に復号する場面だ。復号とは、内部の予測から実際のトークンを選ぶことを指す。

ここではSudokuを一貫した例として考える。空欄ごとに有望な数字を選んでも、同時に選んだ数字同士が両立するとは限らない。離散拡散は同じ文脈を参照していても、同時に生成する各位置の確率を個別に扱い、その積から組み合わせを作る。これが論文のいう依存関係の欠落である。共有文脈を見ていないという意味ではなく、同時の選択を結び付ける部分に制約がある。

Sudokuは、組み合わせ全体に厳密な正解があるため、この問題を観察しやすい。ただし、文章の良さまで同じ正解判定で測れるわけではない。論文も構造化課題と文章生成を別の指標で評価している。

一般的な自己回帰モデルは、すでに生成したトークンを条件に次を選ぶ。選択を順に結び付けられる一方、初期の選択を修正しにくい。離散拡散は、双方向の文脈を使って反復更新でき、どの位置から復号するかを工夫する改善もある。それでも、同時に選ぶ位置間の依存関係という問題は残る。

もう一つの方向が連続拡散だ。トークン列を連続的な数値で表す「連続潜在状態」を共有し、それをノイズから復元して、最後にトークンへ変換する。全体を一つの状態として更新できるが、途中の復元器が見るのは潜在状態だけである。最終的に復号するまで、その軌道が有効なトークン配置と結び付いているとは限らない。

Sudokuに置き換えれば、全体の内部表現を修正していても、その途中で読み出される盤面が整合しているかを更新に使っていない、という問題だ。共有状態を持つことと、実際の出力配置に結び付けて修正することは別である。

Hierarchical Continuous Diffusion Language Models、略してHC-DLMは、この二つを結合する。生成ステップ間に持続させるのは連続潜在状態だけで、トークンは毎回そこから読み出す。そして読み出した配置を、次の潜在更新を導く「足場」として戻す。

連続情報を離散生成に加える既存方式との違いもここにある。論文が比較するVMD、CADD、CCDDは、連続情報を利用しつつ、トークン側にも独自の遷移過程を残す。HC-DLMでは、離散列を別の生成状態として積み上げるのではなく、潜在状態と毎回結び直す。

この設計なら、前のステップで有望だった数字も、次の全体更新で読み直せる。ただし、正しい組み合わせを必ず得る仕組みではない。全位置を修正可能にすることが有効かどうかは、完全解の正解率などで確かめる必要がある。

学習の順方向では、正しいトークン列をエンコーダという変換器で潜在表現へ移す。その連続状態にはガウスノイズを、トークンにはカテゴリノイズ、つまり別のトークンへの置き換えを独立に加える。逆方向では、潜在状態からのトークン予測と、トークンを条件にした潜在復元を結合する。

生成は、ノイズを持つ潜在状態と初期トークンから始まる。まずデノイザ、すなわちノイズを除くモデルが、潜在状態とトークンの足場を見て、ノイズのない潜在状態を推定する。その推定を使って現在の潜在を更新し、独立した軽量のトークン予測器が最有力のトークンを読み出す。

読み出しをそのまま確定するのではなく、次のノイズ水準へ戻して、次回の足場にする。主実験は、全カテゴリへ一様に置き換えるノイズを使い、全位置を毎回読み直す。Sudokuなら、途中の盤面を更新の手掛かりとして使いつつ、その盤面全体を再び修正できる。この反復が、潜在だけを復元する方式と、トークンを順に確定する方式の双方との違いになる。

この結合は、二種類のモデルを便宜的につないだという説明だけではない。著者は、トークン列にモデルが与える確率である尤度の「変分下界」、略してELBOから学習目的を導いている。下界は、元の列の再構成、終端の分布との整合、境界での復元、各時刻の結合復元に分けられる。結合復元も、離散予測と連続復元という二つの学習信号に分けて整理する。

ただし、この導出と実装の目的は同一視できない。実際には、ノイズのある状態からクリーンな潜在を直接予測するフローマッチングを使う。これは、ノイズ状態とクリーン状態をつなぐ連続的な経路に沿って復元を学ぶ方法だ。クリーン潜在でトークン再構成を監督する置換も含め、実用上の代理目的である。

また、トークン再構成の誤差はデノイザへ直接は伝わらない。したがって、途中のトークン予測誤差をそのまま最小化している、あるいは実装が厳密に同じELBOを直接最適化している、と読むのは正確ではない。理論は結合の根拠を与え、実験は代理目的を含む具体的な構成の性能を測っている。

著者はSudokuとCountdownで、全体の整合性を測った。Sudokuは、指定された七つの論理戦略で解ける180万問を学習に使い、EasyとHardを各10万問で評価する。Easyはその戦略で解ける集合、Hardはそれ以外だ。正解は、81セルすべてが唯一解と一致した場合に限る。部分的に多くのセルが合っていても、完全解の正解率にはならない。

Countdownは演算計画の課題で、50万問を使い、目標値の10%を未知条件の評価用に留保する。CD4とCD5では、演算列全体が合法で、最終的に目標へ到達したかを判定する。数値だけが一致する出力を無条件に正解とする評価ではない。

主結果のHC-DLMは50回のEuler更新、つまり潜在を段階的に進める更新で生成する。比較の約6Mは生成時モジュールのパラメータ数であり、埋め込みと学習専用の約8Mのエンコーダは除外される。CCDDは著者のバックボーンと学習潜在による再実装で、他には既存研究から採用した結果もある。規模が近い比較でも、すべてが同じ実験手順で再学習されたわけではない。

文章生成にはLM1Bを使い、系列長128の無条件生成を評価する。無条件とは、入力指示への応答ではなく、文章を生成する設定だ。HC-DLMは生成時118Mパラメータで、1,024サンプルを128サンプリングステップ、CFG重み2.75で生成する。CFGは、足場を使う予測と使わない予測の差を強める方法で、各ステップに二回のデノイザ評価を要する。

指標のGen. PPLは、生成文を外部モデルGPT-2-Largeで採点した値で、低いほど良い。HC-DLM自身が検証データに与える尤度とは異なり、指示追従や事実性を直接測るものでもない。既存モデルの値はLangFlow著者の再学習実験から採用され、HC-DLMとはトークナイザも異なる。

仕組みの検証には、構成要素を除いて性能を比べる除去実験もある。Sudokuでトークンの足場を除いた連続モデルや、潜在を持たない離散モデルと比較し、さらに同じ階層型サンプラでノイズ方式と復号順序を変える。主結果だけよりも、どの設計が改善に関係したかを絞り込める。ただし、その結果を別の課題や大規模モデルへ一般化するには追加の実験が要る。

以下は著者の報告値である。Sudokuの完全解正解率は、HC-DLMがEasy 94.21%、Hard 72.41%。近い生成時規模のCCDDは94.65%、70.73%で、HardではHC-DLMが高い一方、EasyではCCDDがわずかに高い。約6Mの離散拡散モデルMDMで、確率差を用いて復号順序を選ぶ方式は89.49%、49.88%だった。

Countdownでは、HC-DLMがCD4 84.41%、CD5 37.52%。約6MのCCDDは81.18%、25.35%、同規模のMDMの確率差による方式は50.8%、21.3%だった。近い規模の比較では改善があるが、85MのRDMが報告した87.0%、45.8%には届かない。

この結果が支えるのは、今回の条件で、共有潜在とトークンの反復結合が有力だったという結論だ。EasyとHardの逆転や、大きいモデルとの差も残る。モデル規模に関係なく常に最良である、という主張にはならない。

Sudokuの除去実験では、トークン条件を外したLatent DMのEasy／Hard正解率は50.46%／24.74%だった。潜在を持たないMDMの確率差による方式は89.49%／49.88%で、両方を備えたHC-DLMの94.21%／72.41%が上回る。少なくともこの設定では、共有潜在だけでも、離散更新だけでも主結果に届かなかった。

同じ階層型サンプラのノイズ方式の比較も示唆的だ。一様ノイズと全位置の並列更新は94.21%／72.41%。マスクに置き換える吸収ノイズでは、ランダム順序が69.60%／43.74%、最大確率による順序が74.72%／47.50%、確率差による順序が75.59%／48.25%だった。

この差は、HC-DLMでは復号順序の工夫だけに改善の理由を求められないことを示す。全位置を読み直す足場と潜在更新の結合も検討対象になる。ただし、一様ノイズ一般の優位を証明したわけではない。比較対象はこの階層型サンプラのSudoku実験であり、ノイズ方式と更新方法を含む具体的な構成を評価している。

LM1BのGen. PPLはHC-DLMが75.5で、比較された拡散モデルのPlaid 77.3、LangFlow 92.2、MDM 103.9より低い。一方、自己回帰Transformerは66.7で、HC-DLMより良い値だった。拡散モデル内での改善と、自己回帰モデルへの優位は分けて読む必要がある。

サンプリング予算を減らすと、品質も落ちる。論文のNFE表記で128から64、32、16、8へ減らしたとき、Gen. PPLは75.5、80.1、93.0、117.2、168.8と悪化した。同時に測ったエントロピーは、トークン分布のばらつきを表す指標で、4.21、4.21、4.21、4.18、4.02だった。低予算では、評価モデルから見た品質だけでなく、ばらつきも低下している。

ただし、NFEを実際のデノイザ呼び出し総数とそのまま解釈するには確認が要る。HC-DLMのCFGは各ステップで二回評価するためだ。また、Gen. PPLの比較にはトークナイザ差があり、供給資料に信頼区間や人間評価はない。75.5と77.3の差の確かさや、人間が感じる文章品質との対応は、この値だけでは判断できない。

速度にも著者報告の改善がある。構造化課題の約6M規模で、同じ評価実装とバッチ設定による100復元ステップの生成時間は、バッチ当たりHC-DLM約2.3秒、再実装MDM約3.3秒だった。LM1Bでは、単一RTX PRO 6000、系列長128、128 NFEの条件で、バッチ16以上ならLangFlowより速いと報告される。これらは著者の実装と測定条件に依存する結果である。

生成時の軽さを、学習全体の軽さへ置き換えることもできない。HC-DLMはエンコーダ、デノイザ、予測器を使うため、純粋なMDMより学習の各ステップが高価だ。エンコーダは推論時に破棄され、LM1Bの全学習モデルは約200.5Mになる。報告された学習時間も、比較方式とハードウェアやスケジュールが異なるため、統制された費用比較ではない。

評価はSudoku、Countdown、系列長128のLM1Bに限られる。厳密な正解のある制約充足や演算計画、固定長の無条件生成では検討に値するが、大規模な事前学習モデル、長文生成、汎用的な指示追従での効果は実証されていない。次に必要なのは、こうした範囲での再検証と、品質、反復予算、実測時間を同じ条件で比べる証拠だ。