AuK：自然言語指示により音声生成と編集を統一するオープンソース基盤モデル

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

著者らは、事前の見本なしの（事前見本なし）の音声生成でトップクラスの自然さを達成。音質を落とさずに雑音除去や音響特性の変更を指示通りに実行。高速版モデルにより、一般的なGPU環境でもリアルタイム以上の速度で処理可能

超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。

著者らの結果は、声を作る仕事と直す仕事を一つの仕組みで扱える可能性を示しています。別の言語や録音環境でも品質が保たれるなら、仕事ごとに別の道具を選ぶ必要は減るかもしれません。ただし、学習の少ない言語や細かな音の修正では品質が下がるため、用途ごとの確認は必要です。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

自己回帰型モデルはトークナイザーによる音質劣化や高遅延を抱え、従来の拡散モデルは編集操作の柔軟性に欠けていた。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

AuKの仕組みは3つの主要コンポーネントで構成されています。まず、意味的な指示やコンテキストを解釈するマルチモーダル大規模言語モデル（MLLM）。次に、音声・音楽・環境音全般に対応する音響VAE。そして、それらの条件を受け取って音声潜在表現を生成するハイブリッドRectified Flow Transformerです。このTransformerは、テキストと音声を別々に処理するMMDiTブロックと、統合して計算する単一ストリームDiTブロックを組み合わせています。さらに、Consistency Distillation（一貫性蒸留）により、通常数十ステップ必要な生成処理をわずか4ステップに短縮するAuK-Flashを開発しました。

著者らは、事前の見本なしのTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

その評価で著者らは、事前の見本なしの音声合成において商用クローズドモデルに匹敵する話者再現性と了解度を記録。指示に基づいた話速変更や感情変換において、元音声のアイデンティティを保ったまま編集することに成功。AuK-Flashにより、品質劣化を最小限に抑えながら4.5倍の実時間計算速度を達成

適する範囲は自然言語指示による直感的な音声編集と高品質事前の見本なしのTTSの統合基盤、低遅延な4ステップ推論が求められるインタラクティブな音声対話システム、オープンウェイトに基づく自社ドメイン特化の音声制作パイプラインです。一方、ミリ秒単位の微細な波形修復を要する極限的な音響マスタリング用途、非常に低リソースなエッジマイコンでのリアルタイム推論には適しません。

学習データセットに含まれる合成音声や機械生成データの品質ムラが、特定条件下でアーティファクトを引き起こすリスクがあります。指示があいまいな場合（例: 『少し雰囲気を変えて』）、意図しない声質の改変や音量変化が生じることがあります。195万時間という超大規模コーパスの再学習には数千GPU日の計算資源が必要であり、独立した研究機関によるゼロからの追試は困難です。超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。複雑な論理否定指示に対する指示見落としのリスク。超長文コンテキスト処理における計算量規模を大きくしたときの変化の制約。

著者らの結果は、声を作る仕事と直す仕事を一つの仕組みで扱える可能性を示しています。別の言語や録音環境でも品質が保たれるなら、仕事ごとに別の道具を選ぶ必要は減るかもしれません。ただし、学習の少ない言語や細かな音の修正では品質が下がるため、用途ごとの確認は必要です。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

自己回帰型モデルはトークナイザーによる音質劣化や高遅延を抱え、従来の拡散モデルは編集操作の柔軟性に欠けていた。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

本モデルは、意味・文脈理解を司るマルチモーダルLLM、広帯域音響VAE、および生成を担うRectified Flow Transformerからなります。生成エンジンには、テキストと音声の潜在変数を独立処理するデュアルストリームMMDiT層と、相互作用を深めるシングルストリームDiT層を直列に配置するハイブリッド構造を採用。学習プロセスは、生成専用のウォームアップから生成・編集の同時事前学習へと進みます。さらに、自由記述の編集指示には人間のフィードバックによる選好調整（DPO/RLHF）を適用し、音声生成の明瞭度向上には報酬駆動型の強化学習（RL）を実施。答えを出すときには、Decoupled DMD技術により4ステップの生成を実現するAuK-Flashへと蒸留されています。

意味条件付けを行うマルチモーダルLLMと、広帯域音響VAEを結合。初期層にテキスト・音響独立のMMDiT、後期層に統合DiTを配置するハイブリッドTransformer。生成先行ウォームアップから共同事前学習、DPOとRL追加学習への段階的調整。Consistency InitializationとDecoupled DMDによる4ステップ蒸留モデル（AuK-Flash）の構築。

意味条件付けを行うマルチモーダルLLMと、広帯域音響VAEを結合。初期層にテキスト・音響独立のMMDiT、後期層に統合DiTを配置するハイブリッドTransformer。生成先行ウォームアップから共同事前学習、DPOとRL追加学習への段階的調整。Consistency InitializationとDecoupled DMDによる4ステップ蒸留モデル（AuK-Flash）の構築。

著者らは、事前の見本なしのTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

VoiceBank-DEMAND等の共通テストにおいて、専用の強調・分離モデルに匹敵する信号対雑音比改善（PESQ / STOI）を達成。LibriSpeech等のテストセットでの事前の見本なしのTTSにおいて、WER（単語誤り率）2.1%未満の非常に高い明瞭度を記録。感情指定や話速変更の指示追従テストにおいて、ブラインド主観評価（MOS）で商用TTSシステムと同等の4.2以上のスコアを獲得。AuK-Flashがベースモデルに対して4.5倍の実時間短縮を達成し、モバイルやエッジGPUでの高速推論を実現

その条件で著者らは、VoiceBank-DEMAND等の共通テストにおいて、専用の強調・分離モデルに匹敵する信号対雑音比改善（PESQ / STOI）を達成。LibriSpeech等のテストセットでの事前の見本なしのTTSにおいて、WER（単語誤り率）2.1%未満の非常に高い明瞭度を記録。感情指定や話速変更の指示追従テストにおいて、ブラインド主観評価（MOS）で商用TTSシステムと同等の4.2以上のスコアを獲得。AuK-Flashがベースモデルに対して4.5倍の実時間短縮を達成し、モバイルやエッジGPUでの高速推論を実現

事前の見本なしのTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

既存資料で報告された失敗や切り分けの範囲は次の通りです。超長文（数分以上の連続音声）を一度に編集する場合、文脈長に伴う注意機構のメモリ消費が増大し、一貫性が低下する傾向があります。指示言語が英語および中国語に偏っており、日本語を含むその他の言語では指示理解の粒度が粗くなる場合があります。強化学習による追加学習が過度に進んだ場合、音声の自然な揺らぎや呼吸音が消失し、過度に無機質な音声になる過剰調整のリスクが残ります。モデル重みは公開されているものの、学習データセット全体のうち著作権処理済みの公開サブセットと非公開データが混在しており、オープンデータセットとは言えません。

生成と編集の双方を学んだことだけでなく、学習データの規模が結果に寄与した可能性があります。タスク統合そのものの効果を判断するには、同じデータ量の専用モデルとの比較が必要です。

超長文（数分以上の連続音声）を一度に編集する場合、文脈長に伴う注意機構のメモリ消費が増大し、一貫性が低下する傾向があります。指示言語が英語および中国語に偏っており、日本語を含むその他の言語では指示理解の粒度が粗くなる場合があります。強化学習による追加学習が過度に進んだ場合、音声の自然な揺らぎや呼吸音が消失し、過度に無機質な音声になる過剰調整のリスクが残ります。モデル重みは公開されているものの、学習データセット全体のうち著作権処理済みの公開サブセットと非公開データが混在しており、オープンデータセットとは言えません。超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。複雑な論理否定指示に対する指示見落としのリスク。超長文コンテキスト処理における計算量規模を大きくしたときの変化の制約。

未評価の言語、長い音声、複雑な編集指示でも生成品質と話者性を保てるか。統合学習と単純なデータ規模の寄与をどう分離するかが残ります。

著者らの結果は、声を作る仕事と直す仕事を一つの仕組みで扱える可能性を示しています。別の言語や録音環境でも品質が保たれるなら、仕事ごとに別の道具を選ぶ必要は減るかもしれません。ただし、学習の少ない言語や細かな音の修正では品質が下がるため、用途ごとの確認は必要です。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

著者らは、ゼロショットTTSにおいて先行オープンモデルを上回る話者類似度とWER。音響強調・分離ベンチマークでタスク専用モデルと同等の客観音質メトリクス。AuK-Flashによるベースモデル比4.5倍の実時間推論加速

超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。

生成と編集の双方で著者らの報告した性能が異なる言語・音響条件でも再現するなら、別々の専用モデルではなく統一モデルを選ぶ根拠になります。ただし、低資源言語、長い音声、潜在表現の圧縮に由来する劣化が残るため、タスク統合そのものが常に有利とは限りません。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

自己回帰型モデルはトークナイザーによる音質劣化や高遅延を抱え、従来の拡散モデルは編集操作の柔軟性に欠けていた。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

モデル構造は、①意味表現を抽出するMLLM、②音声・音楽・環境音に対応する広帯域音響VAE、③生成本体であるRectified Flow Transformerの3要素から成ります。Transformer層は、テキスト条件と音声潜在変数を個別に処理するDual-Stream MMDiTブロック群と、両者を結合して自己注意を適用するSingle-Stream DiTブロック群のハイブリッドです。学習は生成ウォームアップ→生成・編集同時学習→編集向けDPO＋生成向けRLポストトレーニングの3段階で実施。さらにDecoupled DMD技術によりCFG不要の4ステップ蒸留（AuK-Flash）を実現しています。

著者らは、ゼロショットTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

その評価で著者らは、ゼロショットTTSベンチマークにおいて商用APIと同等以上の自然性と話者類似性（SECS > 0.82）。雑音除去・残響除去において専用識別モデルに匹敵するPESQ 3.4+ / STOI 0.94+ を達成。AuK-Flashにより、生成品質を損なうことなく壁時計時間で4.5倍の高速化を達成

適する範囲は自然言語指示による直感的な音声編集と高品質ゼロショットTTSの統合基盤、低遅延な4ステップ推論が求められるインタラクティブな音声対話システム、オープンウェイトに基づく自社ドメイン特化の音声制作パイプラインです。一方、ミリ秒単位の微細な波形修復を要する極限的な音響マスタリング用途、非常に低リソースなエッジマイコンでのリアルタイム推論には適しません。

音声分離タスクにおいて、オーバーラップの激しい多人数会話では話者追跡に誤りが生じるケースがあります。指示文の表現揺らぎに対する頑健性はではなく、稀な語彙を用いた音響指示では既定値にフォールバックすることがあります。長時間のコンテキスト（>30秒）を処理する際の自己注意計算量が二乗でスケールするため、長尺音声処理にはチャンク分割が必要です。超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。複雑な論理否定指示に対する指示見落としのリスク。超長文コンテキスト処理における計算量スケーリングの制約。

生成と編集の双方で著者らの報告した性能が異なる言語・音響条件でも再現するなら、別々の専用モデルではなく統一モデルを選ぶ根拠になります。ただし、低資源言語、長い音声、潜在表現の圧縮に由来する劣化が残るため、タスク統合そのものが常に有利とは限りません。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

自己回帰型モデルはトークナイザーによる音質劣化や高遅延を抱え、従来の拡散モデルは編集操作の柔軟性に欠けていた。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

音響表現は時間-周波数解像度を保持するVAE潜在変数 $z_t \in \mathbb{R}^{d \times T'}$ 上に定義され、ODE軌道 $\mathrm{d}z_t = v_\theta(z_t, t, c)\mathrm{d}t$ を学習するRectified Flowでモデル化されます。ここで $c$ はMLLMから射影されたテキスト埋め込みおよび音響プロンプトです。Transformerバックボーンは初期 $L_1$ 層をテキスト・オーディオ独立重みのMMDiTとし、後期 $L_2$ 層を共有アテンションのDiTとするハイブリッド構成をとることで、モダリティ間の勾配干渉を抑制しながら高次相互作用を捉えます。推論の高速化にはConsistency Initializationを導入したDecoupled DMD（Distribution Matching Distillation）を適用し、スチューデントモデルがわずか4回のODE積分ステップ（CFG=1.0）で教師モデルの周辺分布に合致するよう最適化されています。

意味条件付けを行うマルチモーダルLLMと、広帯域音響VAEを結合。初期層にテキスト・音響独立のMMDiT、後期層に統合DiTを配置するハイブリッドTransformer。生成先行ウォームアップから共同事前学習、DPOとRLポストトレーニングへの段階的最適化。Consistency InitializationとDecoupled DMDによる4ステップ蒸留モデル（AuK-Flash）の構築。

意味条件付けを行うマルチモーダルLLMと、広帯域音響VAEを結合。初期層にテキスト・音響独立のMMDiT、後期層に統合DiTを配置するハイブリッドTransformer。生成先行ウォームアップから共同事前学習、DPOとRLポストトレーニングへの段階的最適化。Consistency InitializationとDecoupled DMDによる4ステップ蒸留モデル（AuK-Flash）の構築。

著者らは、ゼロショットTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

ゼロショット合成（Seed-TTS evaluation harness）においてWER 1.89%、コサイン類似度 0.841 を記録。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、DNSMOS 4.12を達成し、専用復元SOTAと同等の音質を支持。AuK-Flashが4ステップサンプリングにおいて、16ステップCFGありの教師モデルと同等の主観MOS（4.24 vs 4.28）を維持しつつ4.5倍の推論速度を実証。クロスリンガル・ゼロショット合成において、参照音声の音響特徴を保持したまま未知言語へのプロンプト転移に成功

その条件で著者らは、ゼロショット合成（Seed-TTS evaluation harness）においてWER 1.89%、コサイン類似度 0.841 を記録。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、DNSMOS 4.12を達成し、専用復元SOTAと同等の音質を支持。AuK-Flashが4ステップサンプリングにおいて、16ステップCFGありの教師モデルと同等の主観MOS（4.24 vs 4.28）を維持しつつ4.5倍の推論速度を実証。クロスリンガル・ゼロショット合成において、参照音声の音響特徴を保持したまま未知言語へのプロンプト転移に成功

ゼロショットTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

既存資料で報告された失敗や切り分けの範囲は次の通りです。評価に用いたLLMベースの音声評価judge（Speech-Judge）自体に特定の音響アーティファクトに対する過小評価バイアスが存在する可能性。Rectified Flowの直線軌道仮定は音響トランジションが急峻な子音部などで誤差が蓄積しやすく、4ステップ蒸留時に局所的な破裂音の歪みが発生することがある。学習データの大部分が英語および中国語のスタジオ/ポッドキャスト環境に偏重しており、低リソース言語や極端な音響環境（強残響・強風切り音）での汎化には限界がある。DPO学習における人間のアノテーションが主観的嗜好に依存しており、客観的な音声学的正確性とトレードオフを生じる事例が確認されている。

生成と編集の双方を学んだことだけでなく、学習データの規模が結果に寄与した可能性があります。タスク統合そのものの効果を判断するには、同じデータ量の専用モデルとの比較が必要です。

評価に用いたLLMベースの音声評価judge（Speech-Judge）自体に特定の音響アーティファクトに対する過小評価バイアスが存在する可能性。Rectified Flowの直線軌道仮定は音響トランジションが急峻な子音部などで誤差が蓄積しやすく、4ステップ蒸留時に局所的な破裂音の歪みが発生することがある。学習データの大部分が英語および中国語のスタジオ/ポッドキャスト環境に偏重しており、低リソース言語や極端な音響環境（強残響・強風切り音）での汎化には限界がある。DPO学習における人間のアノテーションが主観的嗜好に依存しており、客観的な音声学的正確性とトレードオフを生じる事例が確認されている。超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。複雑な論理否定指示に対する指示見落としのリスク。超長文コンテキスト処理における計算量スケーリングの制約。

未評価の言語、長い音声、複雑な編集指示でも生成品質と話者性を保てるか。統合学習と単純なデータ規模の寄与をどう分離するかが残ります。

生成と編集の双方で著者らの報告した性能が異なる言語・音響条件でも再現するなら、別々の専用モデルではなく統一モデルを選ぶ根拠になります。ただし、低資源言語、長い音声、潜在表現の圧縮に由来する劣化が残るため、タスク統合そのものが常に有利とは限りません。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

著者らは、ゼロショットTTSにおいて先行手法を上回る了解度（WER）と話者再現性。音響強調・分離において専用復元モデルに匹敵する信号対雑音比指標。AuK-Flashによる4.5倍の実時間推論加速

超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。

生成・編集を共通の連続潜在空間で扱う設計が未評価の言語と音響条件にも一般化するなら、タスク別モデルを統合する有力な選択肢となる。一方、データ分布、VAE圧縮、蒸留誤差が結果を制約するため、統合による転移と単なる学習規模の効果を分ける追加検証が必要である。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

自己回帰型モデルはトークナイザーによる音質劣化や高遅延を抱え、従来の拡散モデルは編集操作の柔軟性に欠けていた。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

アーキテクチャは意味条件付けMLLM、多目的音響VAE、およびRectified Flow Transformerから成る。Transformer層はテキスト・音声を独立処理するデュアルストリームMMDiTブロック群に続き、単一ストリームDiTブロック群で相互作用を深めるハイブリッド構造を採用。学習は生成ウォームアップから共同事前学習、選好最適化（DPO）と報酬駆動強化学習（RL）のポストトレーニングへと進む。さらにConsistency Initializationを施したDecoupled DMDにより、CFGなし・4ステップで推論可能なAuK-Flashへと蒸留される。

著者らは、ゼロショットTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

その評価で著者らは、ゼロショットTTSにおいてWER 1.89%、コサイン類似度0.841を達成。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を記録し専用モデルと同等の復元性能を実証。AuK-Flashが教師モデル比4.5倍の推論スループットを達成しつつ、ブラインドMOSで同等の音質を維持

適する範囲は自然言語指示による直感的な音声編集と高品質ゼロショットTTSの統合基盤、低遅延な4ステップ推論が求められるインタラクティブな音声対話システム、オープンウェイトに基づく自社ドメイン特化の音声制作パイプラインです。一方、ミリ秒単位の微細な波形修復を要する極限的な音響マスタリング用途、非常に低リソースなエッジマイコンでのリアルタイム推論には適しません。

重度な重なりを含む多話者音響環境での音源分離精度に限界が残る点。自然言語指示の曖昧性に対する感度が高く、複合指示における優先順位付けに誤りが生じ得る点。音響VAEの潜在表現に起因するミリ秒オーダーの微小音響アーティファクトの存在。超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。複雑な論理否定指示に対する指示見落としのリスク。超長文コンテキスト処理における計算量スケーリングの制約。

生成・編集を共通の連続潜在空間で扱う設計が未評価の言語と音響条件にも一般化するなら、タスク別モデルを統合する有力な選択肢となる。一方、データ分布、VAE圧縮、蒸留誤差が結果を制約するため、統合による転移と単なる学習規模の効果を分ける追加検証が必要である。

音声生成（TTS）と各種音声編集（音響・話速・感情・強調）は従来別個の専門モデルに分断されており、単一モデルによる自然言語指示での統合的な処理が実現していなかった。

自己回帰型モデルはトークナイザーによる音質劣化や高遅延を抱え、従来の拡散モデルは編集操作の柔軟性に欠けていた。

1.95M時間のマルチタスク指示コーパスと、Rectified Flow Transformer（MMDiTとDiTのハイブリッド）により、生成と編集を同一の連続潜在空間Flow Matchingとして統合する。

音響信号 $x$ は広帯域音響VAEによって潜在表現 $z \in \mathbb{R}^{d \times T'}$ にエンコードされる。生成過程はRectified Flowの常微分方程式 $\mathrm{d}z_t / \mathrm{d}t = v_\theta(z_t, t, c)$ として定式化され、$c$ はMLLMによりエンコードされた自然言語インストラクションおよび音響参照プロンプトである。Transformerアーキテクチャは前半のMMDiTブロック（テキストと音響の潜在表現を独立したアテンション空間で保持）と後半のSingle-Stream DiTブロック（結合アテンション）を直列接続し、クロスモダリティの勾配干渉を最小化しながら表現を統合する。学習は、合成先行ウォームアップからマルチタスク共同事前学習、編集タスクに対するDPO（Direct Preference Optimization）、合成タスクに対する明瞭度・類似度報酬RLへと段階的に進められる。最終推論モデルAuK-Flashは、Consistency InitializationとTask-Routed Decoupled DMDを適用し、CFG（Classifier-Free Guidance）排除下で4ステップ（オイラー法またはヘウン法）による高速サンプリングを実現している。

意味条件付けを行うマルチモーダルLLMと、広帯域音響VAEを結合。初期層にテキスト・音響独立のMMDiT、後期層に統合DiTを配置するハイブリッドTransformer。生成先行ウォームアップから共同事前学習、DPOとRLポストトレーニングへの段階的最適化。Consistency InitializationとDecoupled DMDによる4ステップ蒸留モデル（AuK-Flash）の構築。

意味条件付けを行うマルチモーダルLLMと、広帯域音響VAEを結合。初期層にテキスト・音響独立のMMDiT、後期層に統合DiTを配置するハイブリッドTransformer。生成先行ウォームアップから共同事前学習、DPOとRLポストトレーニングへの段階的最適化。Consistency InitializationとDecoupled DMDによる4ステップ蒸留モデル（AuK-Flash）の構築。

著者らは、ゼロショットTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

LibriSpeech/Seed-TTS評価ハーネスにおけるゼロショットTTSでWER 1.89%、コサイン類似度0.841を記録し、主要オープンソースベースラインを上回る結果。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945、DNSMOS 4.12を達成し、専用SOTA信号処理モデルと競合可能なレベルを達成。主観MOS評価において、AuK-Flash（4ステップ、CFG=1.0）がフルモデル（16ステップ、CFG=2.0）と同等の4.24 vs 4.28を維持しつつ、壁時計推論時間を4.5倍短縮。多言語ゼロショット転移において、参照話者の声質・音響空間特性を保持したままクロスリンガル生成を安定して遂行可能であることを確認

その条件で著者らは、LibriSpeech/Seed-TTS評価ハーネスにおけるゼロショットTTSでWER 1.89%、コサイン類似度0.841を記録し、主要オープンソースベースラインを上回る結果。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945、DNSMOS 4.12を達成し、専用SOTA信号処理モデルと競合可能なレベルを達成。主観MOS評価において、AuK-Flash（4ステップ、CFG=1.0）がフルモデル（16ステップ、CFG=2.0）と同等の4.24 vs 4.28を維持しつつ、壁時計推論時間を4.5倍短縮。多言語ゼロショット転移において、参照話者の声質・音響空間特性を保持したままクロスリンガル生成を安定して遂行可能であることを確認

ゼロショットTTS評価においてWER 1.89%、コサイン類似度0.841を記録した。VoiceBank-DEMANDにおけるノイズ除去評価でPESQ 3.48、STOI 0.945を達成した。AuK-Flashは4ステップ推論で教師モデル比4.5倍の実時間推論加速を達成した。

既存資料で報告された失敗や切り分けの範囲は次の通りです。音響VAEの圧縮比率（ダウンサンプリング率）に起因し、8kHz以上の超高周波成分における微細な位相情報や歯擦音の再現性に軽微な損失が生じる可能性。指示理解用MLLMが複雑な論理構造を持つ否定指示（例: 『反響は消すが、声の暖かさは変えないで』等）を受け取った際、条件付けの競合により部分的な指示見落としが発生する事例が観測される。Rectified Flowの軌道直線化蒸留において、4ステップサンプリングでは局所的な音響トランジション（急激なアタック音や無音区間への移行）で数値誤差が蓄積し、微小なアーティファクトを生じるリスク。公開重みとコードは提供されているが、195万時間に及ぶ全学習コーパスのライセンス構成およびクレンジングパイプラインの再現には計算インフラ面での高い参入障壁が存在する。

生成と編集の双方を学んだことだけでなく、学習データの規模が結果に寄与した可能性があります。タスク統合そのものの効果を判断するには、同じデータ量の専用モデルとの比較が必要です。

音響VAEの圧縮比率（ダウンサンプリング率）に起因し、8kHz以上の超高周波成分における微細な位相情報や歯擦音の再現性に軽微な損失が生じる可能性。指示理解用MLLMが複雑な論理構造を持つ否定指示（例: 『反響は消すが、声の暖かさは変えないで』等）を受け取った際、条件付けの競合により部分的な指示見落としが発生する事例が観測される。Rectified Flowの軌道直線化蒸留において、4ステップサンプリングでは局所的な音響トランジション（急激なアタック音や無音区間への移行）で数値誤差が蓄積し、微小なアーティファクトを生じるリスク。公開重みとコードは提供されているが、195万時間に及ぶ全学習コーパスのライセンス構成およびクレンジングパイプラインの再現には計算インフラ面での高い参入障壁が存在する。超高周波成分における音響VAEの圧縮損失に伴う微小位相歪み。複雑な論理否定指示に対する指示見落としのリスク。超長文コンテキスト処理における計算量スケーリングの制約。

未評価の言語、長い音声、複雑な編集指示でも生成品質と話者性を保てるか。統合学習と単純なデータ規模の寄与をどう分離するかが残ります。

生成・編集を共通の連続潜在空間で扱う設計が未評価の言語と音響条件にも一般化するなら、タスク別モデルを統合する有力な選択肢となる。一方、データ分布、VAE圧縮、蒸留誤差が結果を制約するため、統合による転移と単なる学習規模の効果を分ける追加検証が必要である。