DN-MOPD：複数教師のフィードバック量を領域別に調整する蒸留手法

数学、コード、指示追従では、モデルに求める能力が違う。論文の設定では、同じ初期モデルから各領域を得意とする教師を別々に訓練し、その能力を一つの学生モデルへ移そうとする。例えば、業務で数値の検討、プログラムの作成、細かな出力指示への対応を一つのモデルに任せたい場面を考えると、専門教師ごとの強みを統合する目的はつかみやすい。ただし、この例が表すのは複数能力を一つに集める必要性までであり、論文が実際に測ったのは公開ベンチマークでの回答成績である。業務全体の成果を測ったわけではない。

従来のLabel-routed MOPDでは、数学の問題には数学教師というように、プロンプトの領域ラベルで教師を選ぶ。学生はまず自分で回答し、選ばれた教師がその回答の各トークンを採点する。学習の信号になるのは、教師と学生がそのトークンに与えた対数確率の差だ。対数確率は、確率を計算しやすい尺度へ変換したものと考えればよい。教師が学生の実際の回答を評価する点が、あらかじめ用意した教師の回答を学生に覚えさせる方法との違いである。

領域ラベルは「誰が教えるか」を決めるが、各領域の評価値が学生の更新に与える大きさまでは揃えない。学生モデルのパラメータは三つの領域で共有されるため、ある教師からの信号だけが大きければ、他領域の学習が相対的に弱くなる可能性がある。著者らは初回バッチで、指示追従の対数確率差の標準偏差が全領域を合わせた標準偏差の9Bで4.41倍、4Bで2.93倍、2Bで2.32倍だったと報告する。これは指示追従の信号が広く散らばっていたという観察であり、それだけで最終成績の原因を証明する値ではない。

DN-MOPDの正式名はDomain-Normalized Multi-Teacher On-Policy Distillationである。着眼点は、教師の専門性だけでなく、教師から返る評価値の尺度にも目を向けることだ。この方法には、各問題の領域ラベルと、学生の回答に対する教師・学生双方のトークン単位の対数確率が要る。その値を得られない評価方式では、論文の領域別倍率を計算できない。また、領域間の尺度の偏りが小さい場合にも、同じ調整が利益を生むとは限らない。

DN-MOPDはプロンプトの配分と教師の割り当てを変えない。各学習バッチで、教師と学生の対数確率差が領域内でどれほどばらつくかを測り、全領域を合わせたばらつきとの比から倍率を作る。領域内の標準偏差が全体より大きければ、その領域の学習信号を弱める方向に働く。逆なら強める方向だ。倍率は「全体の標準偏差÷その領域の標準偏差」を0.25～4の範囲に収めた値で、標準偏差がゼロの場合などは1にする。正の倍率なので、評価が示す更新方向の符号は変わらない。ただし下限の0.25に達した領域では、ばらつきが完全に揃うわけではない。

倍率は学生が回答を生成したときの記録から推定し、更新時に作る学習信号へ掛ける。論文ではこの信号をアドバンテージと呼ぶ。教師を呼ぶ回数を増やさず、既存の蒸留の枠内で領域ごとの効き方を変える設計だ。一方、標準偏差を揃える操作は、学生のパラメータを実際に動かす勾配の大きさまで揃えるものではない。倍率の推定値は、そのバッチに含まれる領域の構成や回答の長さにも左右される。著者らは追加計算を含む実測の訓練時間を示していないため、教師呼び出しが増えないことを訓練費用の削減とは読めない。

主実験はQwen3.5の9B、4B、2Bで行われた。各規模で教師群、学生の初期値、プロンプト、80回の更新、訓練回答の8,192トークン上限を揃えて、DN-MOPDとLabel-routed MOPDを比べる。学生用のプロンプトは数学、コード、指示追従が各900件、計2,700件だ。評価には数学のAIME25/26、コードのLiveCodeBench v5/v6、指示追従のIFEvalとIFBenchを使い、6課題の単一回答正答率を等重みで平均する。回答の上限は8Kと16Kの両方を調べた。したがって主結果は、この教師構成と学習条件の下で、領域別の倍率が従来方式に加える差を示す。

著者らは、単一教師で学んだ学生、教師の一様な確率プール、動的な教師選択、固定した領域重みなども比べた。固定重みの実験は、改善が数学の信号を強めたためか、指示追従の信号を弱めたためかを切り分ける助けになる。教師の固定回答で学ぶSeqKD-SFTや、モデルのパラメータを組み合わせるtask arithmeticも比較表にあるが、訓練トークン量や最適化条件は揃っていない。成績差の95%区間は評価問題を単位とする対応付きbootstrapで求めたもので、同じ教師群と学生の乱数設定を前提とする。教師を別に訓練し直したときのばらつきまでは表さない。

著者らの主比較では、16Kの評価回答上限、80更新、学生の乱数設定seed 42で、DN-MOPDの6課題平均はLabel-routed MOPDを9Bで1.17、4Bで2.24、2Bで2.36パーセンテージポイント上回った。95%区間はそれぞれ+0.28～+2.03、+1.30～+3.20、+1.58～+3.17で、いずれもゼロを含まない。同じ学習済みモデルを8K上限で評価しても、差は順に+2.47、+3.08、+2.92ポイントだった。学生のseedを42、43、44に変えた対応比較でも、16Kでの差の3 seed平均は+1.12、+1.97、+2.34ポイントと報告される。ただし教師群は固定されている。さらに主表の16K上限は、著者らが8Kと16Kの結果を見た後に選んだ。両上限の結果を併せて読む必要がある。

16K、seed 42で領域別に見ると、数学2課題の平均差は9Bで+3.98、4Bで+3.75、2Bで+3.72パーセンテージポイントだった。著者らのいう「取りこぼした数学能力の回復」は、この差に支えられる。一方、9Bのコード差は−0.82ポイントだが、95%区間は−2.78～+1.06であり、低下を確定できない。最良の単一教師OPD学生との差は9Bで+1.08、4Bで+1.69、2Bで+0.13ポイント。2Bの区間はゼロを含み、全規模で単一教師より優れるとは言えない。また、別の訓練レシピを用いるSeqKD-SFTとtask arithmeticは、主表の6課題平均でいずれもDN-MOPDを上回った。9BではDN-MOPDが59.6%、SeqKD-SFTが62.6%、task arithmeticが60.5%である。この比較から調整法全般の優劣を決めることはできない。

固定重みの対照では、4Bの6課題平均について、指示追従だけを0.25倍にするとLabelから+1.79ポイント、数学だけを2倍にすると+1.20ポイントだった。2Bでも順に+2.19、+0.27ポイントである。少なくともこの対照では、数学を強める操作より、指示追従を弱める操作の効果が大きい。4Bの初期学生を使った一つの勾配測定でも、共有する更新への指示追従の寄与率は等重みで94%、DN-MOPDの初回倍率で64%だった。ただし、これは単一の測定集合による記述的な診断であり、学習全体の成績差の原因を単独で特定しない。初回バッチから決めた固定重みは9Bと4BでDN-MOPDと検出可能な差がなく、倍率を毎バッチ計算し直す必要性も全規模で確立したわけではない。2BではDN-MOPDの方が高かった。

指示追従の倍率は多くのバッチで下限0.25に達しており、領域間の分散を完全には揃えていない。さらに、先行するQwen3-4Bの別条件では、DN-MOPDとLabelの6課題平均の差は+0.02ポイント、95%区間は−0.56～+0.59で、明確な改善はなかった。モデル系列、教師の状態、訓練上限、更新数が主実験と異なるため、どの違いが結果を変えたかは分からない。16K評価で数学回答の平均トークン数と回答上限到達率は3規模とも低かったが、これだけで実際の推論遅延や費用が下がったとは言えない。今後は別の教師群とモデル系列で、尺度の偏り、固定重みとの差、最終成績を同じ条件で確かめることが、適用範囲を見極める証拠になる。