ストリーミング音声認識出力安定性最長安定接頭辞の学習

Confucius4-R2T2:確定済みの文字列を書き換えないストリーミング音声認識

全文を認識できるモデルに「今は待つ」を教え、確定した出力を積み上げる

Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

論文の書誌情報と関連リンク

ポッドキャスト形式で聴く

約6分

AI生成の会話音声です。記事の要点を短くまとめています。

概要

音声認識の途中結果が書き換わると、その文字列をすぐ使う翻訳や音声エージェントにも手戻りが生じる。Confucius4-R2T2は、全音声を認識する既存モデルに「どこまで確定し、いつ待つか」を追加学習させ、公開済みの文字列を撤回せずに出力を積み上げる。著者らの報告では、160ミリ秒刻みで音声を受け取る条件で、英語・中国語13評価集合の平均誤り率は元モデルの21.01%から5.76%に下がった。ただし、確定した文字列が正しい保証はなく、報告された出力の遅れも通信や計算を含む実際の配信遅延ではない。

著者をもっと詳しく知る(全6名)

論文と確認可能な公式情報に基づき、著者の所属と研究背景を掲載しています。

全著者と所属

  1. Daniel Huang
    論文時点:NetEase Youdao(北京、中国)
  2. Qi He
    所属情報なし
  3. Shaoxiong Duan
    論文時点:UC San Diego
  4. Yingjie Li
    所属情報なし
  5. Qiao Cheng
    所属情報なし
  6. Yitao Duan
    所属情報なし

なぜ注目されているか

11月11日の取得時点で、Hugging Faceでは90 upvotes、論文討論には2コメントと著者の参加が記録されている。同じ取得データでは、関連GitHubリポジトリのstarsは878だった。

議論全体へのリンク

なぜ重要なのか

逐次翻訳や音声エージェントでは、認識精度に加えて「いつから撤回されない文字列として扱えるか」が処理の前提になる。この研究は、その確定判断を学習対象として扱う根拠を示す。用途に合う認識精度と実際の配信速度を確認できれば、後続処理の設計を変える可能性がある。ただし、翻訳の再処理やエージェントの誤動作がどれだけ減るかは、今回の評価では測られていない。

この記事に出てくる言葉(5語)
安定接頭辞

後から音声が追加されても、公開済みの文字列が出力の先頭部分として維持される性質。

この論文では

認識モデルと、確定済み出力を保持する復号方策を合わせて成立する。

最長安定接頭辞(LSP)

LSP

全音声に対するモデル出力の先頭と完全に一致する、過去の出力全体のうち最長のもの。

この論文では

全音声を参照して事後的に作る教師ラベル。オンラインで正しさを判定する仕組みではない。

Wait

今の音声では追加の文字列を出さず、次の音声を待つことを表す出力。

この論文では

確定と待機を学習させるために使う。発話終了の判定とは別。

WER/CER

WER/CER

正解の書き起こしに対する、単語単位/文字単位の認識誤り率。低いほどよい。

この論文では

主評価では英語にWER、中国語にCERを使い、評価集合ごとの百分率を等重みで平均する。

回顧的発出遅れ

正しく一致した認識単位について、出力が永久に固定された時刻と、参照音声上の終了時刻との差。

この論文では

音声の時間軸で測る指標。計算時間や通信時間を含まない。

1. 読む前に知っておきたいこと

途中の文字列を、誰が使うのか

音声を受け取りながら文字にするストリーミング音声認識では、後続の音声によって途中結果が変わることがある。会議の発言を逐次翻訳する場面を考える。認識器が出した文字列を翻訳側がすぐ使えば、その文字列の訂正は翻訳のやり直しにもつながる。音声エージェントのように、文字列を受けて処理を進める場合にも同じ問題がある。

Confucius4-R2T2が扱うのは、公開した文字列を撤回しないという制約の下で、認識精度と確定の速さを両立する課題だ。ここでいう安定接頭辞とは、時間が進んでも、公開済みの出力が新しい出力の先頭部分として残ることを指す。ただし、出力の安定性と認識の正しさは別である。誤った文字列でも、撤回しなければ安定している。この区別が、論文を読む出発点になる。

音声を細かく区切るだけでは足りない

従来も、複数の途中結果が一致した部分を確定したり、末尾を保留したりする方法があった。これらは推論時、つまり実際に音声を認識するときの規則で、どこまで外に出すかを制御する。一方、モデルが参照する音声を過去側に限ることや、音声を小さな塊に区切ることは、それだけでは出力の不変性を保証しない。新しい音声を受けたときに、以前とは違う文字列を選ぶ余地が残るからだ。

接頭辞を学習する先行手法も、学習だけで撤回を禁止できるわけではない。R2T2はこの問題を、学習と出力規則の組み合わせで扱う。モデルには、確定できる範囲と待つ場面を教える。実行時には確定済みの履歴を保持し、その文字列を変更しない。論文の無撤回性は、この両方を合わせた性質として理解する必要がある。

全文を聞けるモデルから出発する

土台はQwen3-ASR-1.7Bという既存の音声認識モデルだ。R2T2は層などの構造を追加せず、このモデルを追加学習する。音声を表現に変換する音声エンコーダーと、その表現を言語側へつなぐ変換部分は固定し、文字列を生成する言語デコーダーを学習対象にする。

中心にある発想は、同じモデルが全文を聞いた後に出す結果を、途中の確定判断の手がかりにすることだ。全文を聞けば得られる結果と、途中で既に出せていた結果を比べれば、どの時点でどこまで出せたかを事後的に調べられる。ただし、この比較には未来の音声が必要になる。学習用の答えを作る工程で使うものであり、実際の認識中に未来の音声を参照する方法ではない。

2. 手法と評価

LSPは、過去の出力全体から選ぶ

著者らは、この事後的な教師を最長安定接頭辞、LSPと呼ぶ。まず、全音声に対するモデル自身の出力を用意する。次に、各時点までの音声から得た過去の出力を並べ、その全体が全音声出力の先頭と完全に一致するものだけを候補にする。その時点までの候補で最長のものがLSPになる。候補がなければ空の文字列とする。

会議翻訳の例なら、途中で得た認識結果のうち、全文認識の冒頭としてそのまま使える結果を探す。ただし、途中結果の末尾に不一致があれば、正しく一致する前半だけを切り取って候補にするわけではない。出力全体の一致を要求するため、教師は慎重になり、確定できる長さが短くなる場合がある。

著者らは、この定義によるラベルが時間とともに短くならず、最後には全音声出力と一致することを示した。また、正の長さのラベルは実際に過去に出た出力全体であり、その条件の下で最長になる。ただし、比較先は正解の書き起こしではなく、モデル自身の全文認識だ。この数学的性質は、認識の正しさを保証しない。

確定する文字列と「待つ」を教える

追加学習には、非公開の中国語30万発話と英語30万発話、計1,500時間を使う。同じモデルで80ミリ秒刻みの累積音声を認識し、出力がLSPと一致して同じ接頭辞を保つ区間を抽出する。その区間の部分音声にはLSPを、区間外ではLSPとWaitを教師として与える。Waitは、今は追加の生成を止めて音声を待つという明示的な合図だ。全音声には完全な参照書き起こしを使う。

学習は二段階ある。まず、教師となる出力に近づける教師あり追加学習を行う。次にGRPOという強化学習の手法で、複数ターンにわたる認識と待機を調整する。報酬には認識誤り、反復、言語の整合性、末尾の過剰な出力、Waitの位置などを含める。両段階とも音声側は固定する。

狙いは、全文認識モデルの構造と音響表現を保ちながら、途中で出してよい内容を言語側に学ばせることだ。一方、後述の評価だけでは、この二段階や各報酬がそれぞれどれだけ効いたかまでは切り分けられない。

外に出した文字列と、内部の保留を分ける

実行時には、確定済み文字列を保持して音声の追加分に対応する。Waitを予測した更新では生成を止める。さらに、生成した末尾の一定数のトークンを内部に保留できる。トークンはモデルが文字列を扱う単位であり、ここでは保留する個数をUと表す。U=0なら生成文字列を確定し、U=1なら末尾の最大1トークンを保留する。

保留部分は新しい音声を受けた後に再検討できるが、公開済みの文字列は変更しない。会議翻訳側が受け取るのは、この確定済み部分である。この説明が対応するのは認識器の出力までで、翻訳結果そのものの安定性を保証するものではない。

保留数は固定時間の待機を意味しない。また、Waitは発話が終わったという判定ではなく、最後に残った出力を送り切る処理とも別である。したがって「待てる」「撤回しない」「発話を終えられる」は、それぞれ区別して見る必要がある。

精度と遅れを、別々の物差しで測る

主評価は英語8集合と中国語5集合を使う。英語は単語誤り率WER、中国語は文字誤り率CERで測り、正規化後の各集合の百分率を等重みで平均する。これは全データの誤り数を一括して割った値ではなく、異なる単位の指標を含む集合ごとの平均だ。

中心となる比較は、R2T2と追加学習前のQwen3-ASR-1.7Bを、160ミリ秒のチャンク、同じ末尾保留条件で認識させたものだ。ほかの研究モデルや商用サービスとも比較するが、元モデルの全音声設定と2秒設定はランキング外の参照値として扱う。同一の学習済みR2T2でチャンク長とUを変える感度分析も行う。

遅れは、参照と一致した英単語や中国語の文字について、その部分が永久に固定された音声時刻から、強制整列で推定した参照音声上の終了時刻を引いて測る。著者らはこれを回顧的発出遅れとして評価する。高い認識誤りがある発話は対象から除くため、正しく認識できた部分の確定時刻を見る指標として読むべきだ。

3. 結果と限界

小さなチャンクでの精度は大きく改善

著者らによると、160ミリ秒・U=1で、R2T2は主評価の全13集合で元モデルより誤り率を下げた。等重み平均は5.76%対21.01%で、差は15.25パーセントポイントだった。元モデルが全音声を使う場合の5.15%との差は0.61パーセントポイントに縮まった。小さなチャンクで使った元モデルに対する改善と、全文認識への接近が、主な成果である。

ただし、比較条件は重要だ。追加学習前の元モデルを160ミリ秒・U=0で試すと、重い幻覚と不安定な終了により、利用可能な誤り率評価ができなかった。主表に載る元モデルはU=1であり、すべての設定で同じように比較できたわけではない。

R2T2自体では、同じ160ミリ秒設定でU=0の平均誤り率が6.40%、U=1が5.76%だった。1トークンの内部保留で0.64パーセントポイント改善する一方、著者らは平均の発出遅れが数十分の1秒増すと報告する。確定を急ぐほどよいという一方向の結果ではなく、精度との交換条件がある。

他言語への改善と、半秒未満の読み方

中国語・英語以外の10言語18集合でも、160ミリ秒・U=1のR2T2は、同条件の元モデルを全評価集合で上回った。日本語・韓国語・タイ語にはCER、その他にはWERを使い、幻覚を除外せずに計算した等重み平均は8.40%対30.75%。差は22.35パーセントポイントだった。ただし、元モデルの全音声設定5.99%、2秒・U=5設定7.23%には届かない。追加学習外の言語にも改善は及ぶが、全文認識の精度を回復したわけではない。

遅れを優先した80ミリ秒・U=0の設定では、英語・中国語とも平均回顧的発出遅れが500ミリ秒未満になった。これは先の5.76%を得た設定とは異なり、精度との交換条件を伴う。

さらに、この半秒未満には計算、待ち行列、通信、画面描画の時間が入らない。推論が音声の到着に追いつける条件も、実行時間の測定では検証されていない。したがって、利用者に届く字幕が半秒以内に確定するという意味には置き換えられない。

次に必要なのは、寄与の切り分けと下流の検証

評価は改善を示す一方、その原因を細かく特定するには限界がある。供給資料には、教師あり追加学習、GRPO、LSPの定義、推論上の各工夫の個別寄与を分離する実測値がない。報酬成分ごとの対照実験も必要とされる。どの要素が改善に不可欠だったかは、まだ判断できない。

データ面では、評価集合は追加学習に使っていないものの、元モデルの事前学習で接触していた可能性がある。追加学習データは非公開で、中国語と英語に限られる。追加学習外言語の結果は有望な範囲を示すが、未評価の言語や環境で同等の性能が出る根拠にはならない。

会議翻訳の例に戻ると、確定テキストを順に渡せることは、再処理を減らす可能性につながる。しかし、論文は書き換え頻度そのものや、下流の再処理削減を測っていない。今後見たいのは、実際の配信条件での遅延と、誤確定を含む下流処理の結果だ。後続文脈によって確定済みの誤りも訂正する必要がある用途では、撤回しないという制約自体が要件に合うかを先に確かめる必要がある。

この研究から考える

ここからは、論文の結果を踏まえた編集上の考察です。

同じ160ミリ秒条件で大きく誤り率が下がり、公開済み文字列を保持する認識が可能になった。この結果は、逐次翻訳や音声エージェントで、精度に加えて「いつ撤回不能にするか」を学習と復号の設計項目として試す根拠になる。ただし、確定が早くても誤りは残り、報告された遅れは実際の配信遅延ではない。採用判断につなげるには、利用環境で処理が音声到着に追いつくか、誤確定が許容できるか、下流の手戻りが減るかを確かめる必要がある。

ホーム画面に追加する

  1. Safariでこのページを開く
  2. ページメニューから「共有」をタップ
  3. 「ホーム画面に追加」を選択
  4. 「Webアプリとして開く」をオンにして「追加」をタップ

追加後は、ホーム画面のアイコンからSingularity Lensを開けます。