Waypoint-OPD：強化学習の途中経過で教師の方策変化を選別して蒸留する

強化学習で教師モデルの能力が変わったとき、その変化を別の生徒モデルへ渡したい。ここでいう方策は、生成途中の文脈に応じて、次のトークンへ割り当てる確率の分布である。Waypoint-OPDが扱うのは、教師の強化学習によってこの分布がどう変わったかを使う蒸留だ。

たとえば、仕事で使うコード生成モデルが関数を書いている途中を考える。その時点までの文脈を、論文ではプレフィックスと呼ぶ。同じ文脈でも、教師が学習前より選びやすくなったトークンと、選びにくくなったトークンがある。既存の差分転移は、こうした学習前後の確率の変化を生徒の学習信号にする。

問題は、開始時と終了時だけでは変化の経路を区別できないことだ。ある候補への選好が前半も後半も強まった場合と、前半に強まり後半に弱まった場合で、最終的な差が同じになることがある。論文は、この二つを同じ重みで生徒に渡すべきかを問う。

オンポリシー蒸留とは、生徒自身が生成した文脈で教師の情報を与える学習である。通常のOPDは、最終教師の出力分布へ生徒を近づける。その隔たりを測るのがreverse KLで、KLは確率分布同士のずれを表す尺度だ。

比較対象のDirect-OPDは、教師の強化学習前後における対数確率の差を、トークンごとの報酬として移す。対数確率の差は、そのトークンを選ぶ確率が学習によってどう変わったかを表す。同時に、初期生徒から離れすぎないようKLによる制約をかける。別の比較手法OPD²は、教師と学習前モデルの差、および教師と生徒の差を中心化し、符号の一致で更新対象を選ぶ。

いずれも教師の情報を利用するが、教師の連続する二つの学習区間が同じ方向へ進んだかを直接測るものではない。Waypoint-OPDは、この時間方向の情報を追加する。

提案手法は、同じ強化学習実行から開始時のInitial、途中のWaypoint、終了時のFinalを取り出し、固定して使う。途中モデルから順番に学ぶカリキュラムではない。生徒に渡す対象は開始から終了までの変化であり、途中モデルはその変化をどれだけ信頼して渡すかの判断材料になる。

先ほどのコード生成例でも、関数全体の書き方が一貫して改善したかを判定するわけではない。判定単位は、特定の文脈における次の候補トークン群だ。同じ方向への変化が続いていても、生成コードが正しいという保証にはならない。この局所性が、仕組みを理解するうえでの境界になる。

まず、生徒が生成した各プレフィックスで、生徒の確率が高い候補トークンを選ぶ。実験では上位16個を使う。その同じ候補を三つの固定教師で採点する。教師と生徒はトークナイザーを共有しており、同じトークンの確率を直接比べられる。

次に、開始から途中までの対数確率差と、途中から終了までの対数確率差を計算する。それぞれから、候補内の生徒確率で重み付けした平均を引く。これが中心化である。候補全体に共通する成分を差し引き、どの候補への選好が相対的に強まったかを比べるための操作だ。

コードの続きを選ぶ場面なら、一つの候補だけを見るのではなく、その場で生徒が選びそうな候補群の中で変化を捉える。前半と後半の中心化した差を足すと、開始から終了までの中心化した差になる。文脈・候補・生徒の重みを固定すれば、この最終差分は途中モデルの位置を変えても変わらない。途中モデルが変えるのは、次に掛ける重みである。

前半と後半の変化は、候補ごとの値を並べた二つのベクトルとして比べる。使うのは、生徒確率で重み付けしたコサイン類似度だ。これは変化量そのものの大きさより、候補間で強まる・弱まる方向がどれだけそろっているかを見る尺度である。

一致度が正なら、その値をゲート、つまり信号を通す重みにする。一致度がゼロ以下なら、最終差分を通さない。このゲートは同じプレフィックスの全候補に共通する。ただし、どちらかの変化が極めて小さく方向を判断しにくい場合には、ゲートを1として信号を残す例外がある。

さらに、学習バッチ内の平均ゲートが目標0.8に近づくよう、共通係数で再調整する。係数の範囲は0.75から1.5に制限される。ゼロのゲートと相対的な重みは保たれる一方、調整後の重みは1を超えることもあり、信号全体の大きさを一定に固定する処理ではない。

生徒は、この重みを掛けた最終差分を受け取り、初期生徒へのKL制約も使って学ぶ。Direct-OPDに対する追加負担は、途中教師の保持と採点パス1回だ。教師の追加学習、新たな学習可能パラメータ、追加の生徒生成、転移中の正解判定器呼び出しは必要としない。

著者らは数学用とコード用のQwen3-4B教師を、それぞれ強化学習で1,200ステップ訓練した。数学にはDeepMathの難度6以上の約57K例、コードにはEurus-RL-Codeの約25K例を使い、既定の途中教師は600ステップ時点とした。

生徒はQwen3-8B、14B、30B-A3Bの3種類である。転移用の問題は数学がDAPO-Math-17K、コードがCodeforces由来で、転移は100更新行う。未転移のBase、最終教師を使うOPD、OPD²、Direct-OPDと比較し、手法固有の設定以外は訓練・評価条件を共有した。

数学はAIME 2024・2025・2026、HMMTの2025年2月・11月と2026年2月、AMC 2023の計7評価を用いる。コードは同じ378問に対するMBPPとMBPP+、LiveCodeBenchのv4・v5・v6の計5評価だ。数学のmean@32とコードのmean@8は、各問題で生成した応答の正解率を問題間で平均する指標である。そのうえで、領域平均は各ベンチマーク得点の単純平均とする。評価時の温度0.7、top-p 0.95、最大応答長16,384トークンも共通化した。

仕組みを確かめるアブレーション、つまり構成要素を変える比較は、Qwen3-8Bの数学で行った。中心化と初期生徒へのKLを残したまま、ゲートを外す、同じバッチ内で別のプレフィックスへゲートを入れ替える、平均ゲートの再調整を外す、という条件を比べている。

入れ替え実験は、ゲートの分布や平均を保ちながら、どの文脈にどの重みを与えるかの対応を壊す。ただし、学習信号や勾配の大きさまで同じに保つ対照ではない。ゲート除去時にも既定の再調整則が残るため、共通係数は0.8となる。各差を、独立した部品の効果として足し合わせることはできない。

また、生徒のチェックポイントは数学・コードともAIME 2024の検証精度で選び、その一つを全評価に使う。したがって、AIME 2024自体は選択から独立したテストではない。コード専用の検証集合で選んだ結果も提示されていない。比較条件は共有されているが、報告された平均にはこの選択方法が含まれる。

以下はすべて著者らの報告値である。数学の領域平均は、8B・14B・30B-A3Bの順に56.14%、59.20%、57.85%だった。Direct-OPDの53.96%、57.61%、55.96%に対し、改善はそれぞれ2.18、1.59、1.89パーセントポイントとなる。

コードの領域平均は同じ順に53.25%、57.82%、57.54%。Direct-OPDの50.59%、56.30%、56.35%から、2.66、1.52、1.19パーセントポイント高かった。数学・コードの全6設定で、比較した生徒の蒸留手法中、領域平均は最高である。ここでの差は正解率の差であり、相対的な改善率ではない。

ただし、全問・全評価で優位という意味ではない。数学のDirect-OPDとの個別比較は21件中19件で改善し、14BのHMMT 2025年11月は47.60%から47.08%、30B-A3BのHMMT 2026年2月は33.05%から32.77%へ下がった。コードはDirect-OPDとの15比較すべてで改善した一方、OPD²が14BのLiveCodeBench v5、30B-A3BのMBPP・MBPP+で上回る。

8B数学の領域平均は、完全版56.14%に対し、ゲートなし53.50%、ゲートの入れ替え51.20%、再調整なし55.22%だった。完全版との差は順に2.64、4.94、0.92パーセントポイントである。再調整なしでもDirect-OPDの53.96%を上回ったが、HMMT 2025年2月では再調整なしの34.79%が完全版の34.38%を上回った。

ゲートを入れ替えた方が、単に外した場合より悪い。この結果は、重みを与える量だけでなく、文脈と重みの対応が重要だという解釈を支える。ただし、中心化の単独効果は切り分けられておらず、入れ替えで勾配の大きさも変わり得るため、方向一致だけの因果効果を完全に特定したとはいえない。

途中教師を500・600・700ステップに変えた8B数学の平均は、56.18%、56.14%、56.13%で、幅は0.05パーセントポイントだった。近接した位置では変動が小さい。ただし、それより早い・遅い位置や別の設定で、同じ安定性があるかは未検証だ。

8B数学をH20 GPU 8基で100更新した時間比較では、評価時間を除き、Waypoint-OPDは8時間2分21秒、Direct-OPDは8時間21分3秒だった。前者が18分42秒、3.73%短い。途中教師の採点を追加するため、処理が増えることと総時間が伸びることは、この実行では一致しなかった。

同じ訓練では、100更新中87更新で平均応答長が短かった。最大16,384トークンに到達した応答の割合を更新間で単純平均すると、14.83%から11.97%へ2.86パーセントポイント低下している。

応答が短かったことは時間差を考える材料になるが、その因果関係を単独に切り分けた実験ではない。測ったのは限定された条件の蒸留訓練時間であり、推論時の応答速度、一般的な高速化、金銭的な節約を実証した結果としては読めない。

提供された結果には、独立した複数の訓練シードによるばらつき、信頼区間、正解判定器の誤判定率が示されていない。mean@32やmean@8で複数応答を評価していても、訓練をやり直したときの再現性は別の問題だ。小さな得点差や途中位置への安定性には、この留保が付く。

検証対象も、互換トークナイザーを持つQwen3系列の数学・コードである。主要な構成要素の比較と途中位置の検証は8B数学に限られる。方向がそろっていても有益な信号とは限らず、変化が極めて小さい場合は方向を判断せず信号を残す。この手法は正しさの判定器ではない。

適用候補は、同じ教師学習の開始・途中・終了モデルを用意し、同じ候補トークンを直接比べられる転移実験だ。最終教師しかない場合や、トークナイザーが異なり候補を直接対応付けられない場合には、論文の手順をそのまま使えない。次の判断材料は、別系列・別課題での再現、独立訓練間の変動、追加採点を含めた時間比較になる。