Dynamic Band Splitting：入力に合わせて周波数帯の境界を変える音源分離

映画音響から目的の音源を取り出す場面を考える。混合音には、分離に役立つ細かな周波数構造が含まれる。それを詳しく残したい一方、すべての周波数成分を細かいまま処理すると、分離器の計算が重くなる。この論文が扱うのは、その間にある情報のまとめ方だ。

まず、音を短い時間区間ごとの周波数成分に分ける。これが短時間フーリエ変換、STFTである。変換後の表現は、時間と周波数の格子になる。周波数方向の一つ一つの区画を「ビン」と呼ぶ。帯域分割型のモデルは、連続する複数のビンを帯域としてまとめ、各帯域を一つの特徴表現、つまり帯域トークンへ圧縮する。分離器は、この少数のトークンを使って時間方向と帯域間の関係を処理する。

BSRNN、TIGER、BS-RoFormerなどの既存モデルは、設計時に決めた帯域の配置を使う。入力が変わっても、周波数のどこを細かく分けるかは変わらない。ところが、分離に有用な構造が現れる場所は音の内容によって異なる。固定境界では、区別したい成分を同じ帯域へまとめたり、情報の少ない領域にも細かな帯域を割り当てたりする可能性がある。

先ほどの映画音響でも、別の場面になれば、細かく見たい周波数領域は変わり得る。帯域数を増やせば情報を残す余地は広がるが、分離器の計算も増える。DBSの問いは、帯域数を増やす代わりに、同じ数の区切りを入力に合わせて動かせないか、というものだ。

Dynamic Band Splitting、略してDBSは、入力に応じて帯域の境界位置と幅を選ぶ。DnR v2では1025個の周波数ビンを四つの固定ブロックへ分け、各ブロックに32帯域、合計128帯域を割り当てる。そのブロック内で境界を動かすので、ある帯域を狭くすれば、ほかの帯域は広くなる。ブロックをまたいで帯域予算を自由に移す方式ではない。

また、「動的」は時間フレームごとに区切り直すという意味ではない。一つの推論窓について一つの分割を選び、窓内では共有する。映画の場面を扱う例も、実際にはその窓ごとの適応として理解する必要がある。音が単純ならトークン数を減らす仕組みでもない。固定した表現量を、どこへ配るかが研究の中心にある。

DBSはまず、入力スペクトルから各周波数の特徴を作る。振幅の時間平均に加え、平均に対するピークや変動の大きさも取り込む。さらに、各ビンの時間的な変化を要約する。こうして得た隣接ビンの特徴がどれほど異なるかと、振幅統計がどれほど変わるかを組み合わせ、境界を置く確率を求める。音響的な変化を、区切り位置を選ぶ手掛かりにする構成だ。

各固定ブロックの先頭は必ず境界にする。それ以外は、境界確率の高い候補から決められた個数を選ぶ。これがHard Top-Kである。選んだ境界の間を連続した帯域として扱うため、境界位置が変わっても帯域数は変わらない。DnR v2なら、どの入力窓でも128帯域になる。

境界の選択は離散的なので、そのままでは選び方を学習させにくい。学習時は実際の計算にハードな分割を使いつつ、更新には境界の有無を確率で補間する代理の勾配を使う。分離器と境界予測器を共同で学習するが、帯域数を厳密に固定する役目を担うのは、補助的な学習目標ではなくHard Top-Kだ。

帯域内のビンは、単純に同じ重みで平均するわけではない。入力内容に応じて重みを付けてまとめる「プーリング」により、幅にかかわらず一帯域から一トークンを作る。この重みも窓内の時間方向で共有する。周波数順に並んだトークンを、既存モデルの分離器本体へ渡す。

分離後は、境界確率を使って隣接する帯域の表現を平滑化し、入力時と同じ分割に従って元のSTFT格子へ展開する。圧縮した表現を広げるだけでは失われた細部を扱い切れないため、周波数方向の補正も加える。その後、入力スペクトルの各成分をどう変えるかを示す複素マスクを推定し、逆STFTで音の波形へ戻す。

つまりDBSは、区切り位置の予測器だけを追加したものではない。帯域への圧縮から、元の細かな格子への復元までを一体として変える。元の周波数格子を復元先として残す点も、周波数表現そのものを自由に学習する方式との違いになる。

著者らは映画音響のDnR v2、音楽のMUSDB18-HQ、話者分離のEchoSetを使い、テスト対象の全長を評価した。対象数は順に973本、50曲、2650混合である。異なる音源分離課題と複数の分離器本体で改善が続くかを確かめる構成だ。

DnR v2は3秒窓を1.5秒ずつずらして処理し、三音源のSI-SDRを等しい重みで平均する。SI-SDRは、推定音の音量倍率の違いを補正したうえで、正解に対する歪みを測る指標で、値が高いほどよい。MUSDB18-HQは四つの音源別トラックを共同推定し、分割推定した区間を重ね合わせて、四音源の平均SDRを報告する。外部データは使っていない。

同じ分離器本体の固定版とDBS版では、学習データとスケジュールを揃えている。一方、EchoSetは6秒全体を一度に処理し、指標ごとに推定話者と正解話者の対応を選ぶ。SDRiとSI-SDRiの末尾のiは、未処理の混合音からの改善値を表す。この比較対象は既報値で、同条件で再学習した固定版ではない。三つのデータセットの数字を、同じ指標として横並びにはできない。

通常の固定版との比較では、圧縮や復元の変更も結果に含まれる。そこで著者らはDnR v2のBSRNN、128帯域で、DBSと同じ構造・学習スケジュールを使いながら境界を均等配置に固定した対照も学習した。さらに、学習済みDBSの重み、入力窓、帯域数を固定し、推論時だけ境界を均等配置またはBSRNNの配置へ置き換えた。

前者は同じ構造の下で学習境界を使う利点を調べ、後者は同じ重みで境界を替えた影響を調べる。両方を併せることで、総合モデルの比較より境界の寄与に迫れる。ただし、推論時置換は、そのモデルが学習した境界との組み合わせも変える。あらゆる構造で境界移動だけの効果量が決まる、という評価ではない。

以下はすべて著者らの報告である。DnR v2の同じ128帯域による再学習比較では、BSRNNの平均SI-SDRは7.69から9.07 dBへ、TIGERは8.74から10.13 dBへ上がった。改善はそれぞれ1.38 dBと1.39 dBだった。

一方、BSRNNのパラメータ数は35.5百万から4.7百万へ減ったが、入力音声1秒当たりのMACsは76.6 Gから124.0 Gへ増えた。TIGERもパラメータ数は1.4百万から1.0百万へ減り、MACsは20.4 Gから31.6 Gへ増えた。MACsは積和演算の回数で表した計算量であり、処理時間そのものではない。小さなモデルになったことと、軽く動くことは分けて評価する必要がある。

MUSDB18-HQの平均SDRは、BSRNNが5.09から5.43 dB、BS-RoFormerが4.50から6.34 dB、MelRoFormerが7.25から8.07 dBへ改善した。ただしMelRoFormerは、重なりのある固定Mel帯域との、帯域インターフェース全体の比較である。EchoSetでも既報モデルを上回り、SDRi／SI-SDRiの利得はBSRNNで0.46／0.43 dB、TIGERで0.33／0.31 dBだった。

境界に焦点を当てたDnR v2の対照では、別に学習した均等境界版が8.00 dB、DBSが9.07 dBだった。DBSの重みを固定した推論時置換では、均等境界で7.80 dB、BSRNNの境界で8.62 dBとなり、学習境界の9.07 dBを下回った。同じ帯域数でも、境界の配分が品質に関わるという主張を支える結果である。

ただし、構成要素を取り除くアブレーションは、境界を動かすだけでは十分でないことも示す。完全版の9.07 dBに対し、隣接周波数の振幅統計の変化を境界予測に加える項を除くと4.09 dB、復元時の周波数補正を除くと3.92 dBだった。固定ブロックを四つから二つへ減らすと8.32 dB、一つでは6.30 dBとなった。入力依存の選択は、音響的な手掛かり、予算を区切る制約、復元の補正と組み合わさって機能している。

著者らはDnR v2から選んだ64混合、448窓で境界も解析した。各混合の中央窓の全体分割は64件すべてで異なり、同じ入力を繰り返し推論すると境界と境界確率は一致した。帯域数を128に保ちながら、入力に応じて異なる分割を選んでいることが確認された。

必須のブロック先頭を除く内部境界の置換率は、隣接窓間で四ブロック順に22.13%、5.69%、19.62%、32.61%だった。窓を移すと境界が変わる一方、変化の程度には周波数領域ごとの差がある。ただし、この解析はDnR v2の64混合に限られる。スペクトルに境界を重ねた図だけで、個々の境界が特定の音源を意味する、あるいは品質向上を生むとまでは立証できない。

また、低性能だった学習可能フィルタバンクの対照には、分析・合成時の歪みと周波数順序の不整合があった。その失敗を、適応的な周波数表現を学ぶ方式一般の劣位へ広げることはできない。

DBSが直接応えるのは、固定数の帯域トークンを使う分離器で、周波数分解能の配分を入力依存にしたいという課題だ。音の複雑さに応じてトークンを減らす用途や、窓内でフレームごとに境界を変える用途には、そのままでは応えない。予備的な帯域数可変版は許容最大数を選びやすく、著者らは明示的な複雑度制約が必要だとしている。

供給論文には実測推論時間や実時間係数が示されていない。低遅延が条件なら、固定トークン数や少ないパラメータ数を採用根拠にするには証拠が足りない。次に見るべきなのは、対象音源で品質の利点が続くか、対象機器でどの程度の時間を要するか、そして境界解析の知見がほかの音源にも広がるかである。現時点での結論は、帯域配分を設計変数として比較する価値が示された、という範囲に置くのが妥当だ。