AuK：自然言語指示により音声生成と編集を統一するオープンソース基盤モデル

従来の音声処理では、文章から声を作るTTSと、既存音声を修復・加工する編集が別の専門モデルに分かれていた。編集の中でも、発話内容の置換、雑音除去や音源分離、話速・感情・強調といったパラ言語的な変更、残響などの音響特性の変更は性質が異なる。AuKが扱う五つのタスク群は、音声生成、内容編集、強調・分離、パラ言語編集、音響編集である。

仕事の場面で考えると分かりやすい。ポッドキャストのナレーションを原稿から生成した後、「この一文だけ直す」「雑音を消す」「少し速く話す」と修正する場合、従来の分断は工程ごとに別の道具を選ぶことを意味する。AuKの目標は、元音声と自然言語の指示を共通入力にして、これらを一つのモデルで処理することだ。ただし、この例は操作の入口を説明するものにすぎない。すべての編集が同じ品質で成功することや、制作工程全体が自動化されることまでは意味しない。

記録が挙げる従来方式の弱点は二つある。自己回帰型モデルは、音を離散的な単位として順番に生成するため、トークナイザーに由来する音質劣化と高い遅延を抱える。従来の拡散モデルは連続表現を扱える一方、幅広い編集操作への柔軟性が不足していた。

AuKの発想は、生成用と編集用に別の出力機構を置くのではなく、両方を同じ連続潜在空間におけるFlow Matchingとして捉えることにある。潜在空間とは、音声波形そのものではなく、モデルが処理しやすい圧縮表現の空間である。新しい音声を作る場合も、既存音声を条件に変形する場合も、目標となる音声表現へ移る流れを学ばせる。この共通化が論文の中心的な変更点である。

AuKは、約30億3,000万件の指示・音声インスタンスと195万時間の有効な教師データを使う。これは単なる構造上の提案ではなく、大規模なマルチタスク学習との組み合わせである。そのため、良い結果が生成と編集を統合した設計から生じたのか、学習データの量と広さから生じたのかは、報告された最終成績だけでは切り分けられない。

ここは評価を読むうえで重要だ。統合モデルが複数業務を一つの入口にまとめられることと、各業務で専用モデルより本質的に優れることは別の主張である。後者を確かめるには、同じデータ量を与えた専用モデルとの比較が必要になるが、その切り分けは残された問いとして示されている。

AuKの本体は三つの役割から成る。第一は、自然言語の指示と音声コンテキストから意味上の条件を作るマルチモーダルLLMである。第二は、音声、一般音響、音楽を共同学習した音響VAEで、入力音を連続的な潜在表現へ圧縮し、生成された表現を音へ戻す。第三は、その条件を受けて目的の音声表現を作るハイブリッドRectified Flow Transformerである。

Transformerの前半には、テキストと音響を別々の流れで処理するデュアルストリームMMDiTブロックを置く。後半では両者を一つの流れにまとめる単一ストリームDiTブロックを使う。先に各モダリティの情報を保ち、後から相互作用を深める構成である。ポッドキャストの例なら、「雑音を消し、話す速さを変える」という指示の意味と、元音声が持つ声や環境の情報を受け取り、編集後の音声表現を生成する。ただし、複雑な否定が含まれると指示の一部を見落とす可能性があり、言語理解と音響処理を結合しただけで制約が消えるわけではない。

学習は、まず生成だけのウォームアップを行い、その後に生成と編集を共同で事前学習する段階へ進む。追加学習では目的を分け、答えが一つに定まりにくい自由記述型の編集には、人間の選好を反映する選好最適化を用いる。一方、音声生成には報酬に基づく強化学習を適用する。この組み合わせは、共通の基盤を持ちながら、生成と編集で異なる品質要求を調整するためのものだ。

さらに著者らは、推論コストを下げるためAuK-Flashを作った。Consistency Initializationと、タスクに応じて経路を分けるDecoupled DMDで教師モデルを蒸留し、Classifier-Free Guidanceを使わない4ステップ推論を実現する。ここでいうステップは、潜在表現を目的の音へ近づける反復回数である。少ないステップは高速化に直結するが、速度だけでなく品質が維持されるかを別に確認する必要がある。

著者らの評価は、少なくとも三つに分けて読む必要がある。第一はゼロショットTTSで、Seed-TTSの評価系を使い、文字の明瞭さをWER、参照話者との近さをコサイン類似度で測った。WERだけが低くても、意図した話者の声に似ているとは限らないため、二つの指標は異なる側面を見る。

第二はVoiceBank-DEMANDでのノイズ除去で、知覚的な音質を扱うPESQと、音声の聞き取りやすさを扱うSTOIを報告した。これは信号レベルの復元能力を見る共通課題であり、自由な自然言語編集の全範囲を直接証明するものではない。第三は推論効率で、AuK-Flashとフルモデルを対応する条件で比較し、壁時計時間と主観音質を確認した。

記録では主要なオープンベースラインや専用の信号処理モデルとの比較が示される。一方、すべてのタスクについて同じ種類の指標や対照条件が記載されているわけではない。したがって、TTS、ノイズ除去、高速化の数字を足し合わせて「どんな編集でも最良」と結論づけることはできない。

ゼロショットTTSでは、著者らはWER 1.89％、コサイン類似度0.841を報告し、主要なオープンベースラインを上回ったとしている。前者は発話内容の文字上の誤りが少ないこと、後者は生成音声と参照話者の表現が近いことを別々に示す。どちらも自然さそのものを単独で保証する数字ではない。

VoiceBank-DEMANDのノイズ除去では、PESQ 3.48、STOI 0.945を記録し、専用の信号処理モデルと競合可能だと報告された。この結果は、統合モデルが生成だけでなく信号復元にも対応できる証拠になる。ただし、一つのノイズ除去データセットでの成績から、内容編集、感情変更、音響空間編集まで同じ強さだとは言えない。

AuK-Flashは4ステップ推論で、16ステップの教師モデルと比べて壁時計時間を4.5倍高速化し、同等の主観音質MOSを維持したと著者らは報告する。これはパーセント改善ではなく倍率の比較である。また、対応する条件下での速度であり、あらゆる計算環境で同じ倍率になるという主張ではない。

音響VAEによる圧縮には、超高周波成分で微小な位相歪みを生む限界がある。このため、ミリ秒単位の精密な波形修復を求める極限的な音響マスタリングは適合範囲外とされる。統合モデルが聞きやすい音を作れることと、元波形の細部を厳密に保存できることは同じではない。

指示理解にも境界がある。複雑な論理否定では一部の条件を見落とすリスクがある。「反響は消すが、声の暖かさは変えない」といった複数条件を含む指示では、望まない属性まで変わる可能性を考える必要がある。また、超長文コンテキストでは計算量のスケーリングが制約になる。短い評価で得た品質を、長尺素材へそのまま外挿することはできない。

低遅延の4ステップ推論は対話的な音声用途に適する候補だが、極めて低リソースなエッジマイコンでのリアルタイム推論には適さないとされる。オープンな重みとコードが公開されていることも、195万時間規模の学習そのものを容易に再現できることとは別である。

現時点で最も重要な代替説明は、成果の相当部分がタスク統合ではなくデータ規模から来ている可能性である。生成と編集を一緒に学ぶことで相互に能力が移ったのか、それぞれの事例を大量に見せた結果なのかは、同じデータ量の専用モデルとの比較なしには判断しにくい。

適用判断では、平均的なベンチマーク成績より、自社が重視する条件での再現性を見るべきだ。自然言語による音声編集とゼロショットTTSを同じ基盤で扱う用途には合う可能性がある。だが、未評価の言語、長い音声、複雑な編集指示、精密な高周波再現については追加証拠が必要だ。次に注目すべき証拠は、同一データ条件での専用モデルとの比較、タスク群ごとの失敗率、長尺・複合指示に対する評価、そして独立した再現結果である。Hugging Face上の209件のupvoteは関心の現在値ではあっても、これらの技術的な不確実性を減らす証拠ではない。