Semantic EOS Aggregation：オンポリシー蒸留の長文化を終了トークン不整合から捉える

学ぶ側と教える側が、同じ終了を別々のEOSで表すと、なぜ答えが長くなるのでしょうか。また、終了の意味をそろえて学ばせれば、この長文化を抑えられるのでしょうか。

たとえば、答案の終わりを一方は「以上」、もう一方は「終」と書くとします。文字だけを比べると「以上」は間違いとして弱められます。論文の方法は、両方を同じ「答案を終える」行動としてまとめ、その行動に向けられた確率を比べます。

著者らはQwen3、Llama 3.2、Gemma 3で試しました。終了の印をまとめる方法は、通常の学ばせ方より平均の答えの長さと、7168トークンの上限まで達する割合を大きく下げたと報告しています。一方、終了させる印を設定に追加するだけでは、Qwen3で通常の方法とほぼ同じでした。数学問題の正しさが一貫して上がったわけでもありません。

この食い違いだけで、すべての長文化は説明できません。K2-Horizonでは補正後にも学習後半の再長文化が残りました。また、会話の交代や道具への引き渡しなど、終了の印ごとに役割が違う場面では、無条件に一つへまとめられません。

3つのモデル系列で長さと上限到達が減った結果を見ると、同じ停止を表す印が複数ある仕事では、印の名前より「終える」という行動をそろえて学ばせる価値がありそうです。ただし、後半に残る長文化は別に調べる必要があり、役割の違う終了までまとめてよいとは限りません。

オンポリシー蒸留では、学ぶ側が出した言葉だけを教える側が直接採点します。では、両者が意味は同じでも見た目の違う終了の印を使う場合、学ぶ側の停止はどう変わるのでしょうか。論文は、この食い違いが長文化の原因の一つか、そして終了の意味をまとめれば改善するかを問います。

これまでの研究は、採点の組み立て方、長い回答の後ろほど教える信号が弱くなること、答えの選び方が極端に偏ることなどを長文化の原因として論じてきました。本論文は、それらを否定せず、もっと手前にある終了の印の食い違いを切り分けます。また、複数の終了の印を「出たら停止」と設定するだけの対策も比べます。

料理の手順書で、一方が最後に「完成」、もう一方が「おわり」と書く場面を考えます。文字だけを採点すると、学ぶ側が使った「完成」は教える側の好みと違うため弱められます。しかし、学ぶ側は「おわり」をほとんど選ばないので、代わりの印も覚えにくいままです。Semantic EOS Aggregationは、両方に向けられた確率を足し、「手順を終える」という一つの行動として比べます。実際の言葉の同一視ではなく、単一の回答を止める働きが同じ場合に限る比較です。

通常の学ばせ方では、学ぶ側が実際に選んだ一語について、教える側がどれほど選びたかったかと比べます。学ぶ側が自分のEOSを出しても、教える側が別のEOSに停止の確率を置けば、選んだEOSは繰り返し弱められます。Qwen3では、教える側が好む印を学ぶ側が選ぶ確率が終端付近で約10の11乗分の1と非常に小さく、学ぶ側にもともとあった終了確率は約0.8からほぼゼロへ下がったと著者らは報告しました。

停止設定だけをそろえる方法は、どの印が出たら生成を止めるかを変えますが、学ぶときの採点は変えません。提案法は、同じ働きのEOSすべてに向けられた確率を教える側と学ぶ側でそれぞれ合計し、EOSが出たときはその合計を比べます。終了以外の言葉の扱いは変えません。

中心の実験では、Qwen3-1.7B-Baseを学ぶ側、固定したQwen3-4Bを教える側とし、数学問題のデータで200学習ステップを比べました。学習中は平均回答長と、7168トークンの上限に達した回答の割合を追いました。別の確認ではAMC23、AIME24、AIME25の各問題に16回答を作り、問題内の正解率を平均した後、3つを同じ重みで平均するAvg@16を使いました。Llama 3.2、Gemma 3、学習段階の異なるK2-Horizonでも停止の動きを確認しました。

著者らによると、終了の印を停止設定へ追加しただけの方法は、Qwen3で通常の方法とほぼ同じ長さと上限到達の推移でした。Semantic EOS Aggregationは、Qwen3、Llama 3.2、Gemma 3のすべてで平均回答長と上限到達を大きく減らしました。ただしLlama 3.2では、教える側の回答長との差がより大きく残りました。

K2-Horizonでは事情が分かれました。教える側のEOSを学ぶ側がすでに十分選べる途中段階や追加学習後の開始点では、補正の有無による一貫した差はありませんでした。最初の段階から最終モデルを教える条件では、長さが増え、高いまま変動する時期を経て、後半に再び増加しました。補正してもこの後半の再長文化は残りました。

向くのは、教える側と学ぶ側が同じ言葉の一覧を共有し、複数の特殊な印が単一回答の同じ終了を表す場合です。特に、学ぶ側が自分のEOSを失い始め、教える側のEOSもほとんど選べず、停止設定だけの変更では直らない場合に診断する価値があります。停止がすでにそろっている場合や、長文化の原因が別にある場合には、この対策だけでは足りません。

終了の印の食い違いは重要ですが、完全な説明ではありません。補正後にも残るK2-Horizon後半の停止崩れの原因は未解明です。会話の終了、文書の終了、道具への引き渡しが別々の意味を持つ場面では、一つにまとめると必要な区別を消す恐れがあります。また、文章の型と採点方法の詳しい確認はQwen3の3種類の型と2種類の採点方法に限られ、他のモデルや仕事へ同じ結果が広がるかは未確認です。停止が改善しても数学の正しさが一貫して上がるとは示されていません。

3系列で長さと上限到達が減り、設定だけを変えた方法では減らなかったことから、同じ停止を表す印が複数あるなら、生成時の停止表だけでなく、学ぶときの「止まる確率」もまとめて確認する設計が候補になります。料理の手順書で「完成」と「おわり」を同じ終了として扱う発想です。ただし、K2-Horizon後半の再長文化は残り、会話交代や道具への引き渡しまで同じ印として扱えるとは限りません。導入前には、各印が本当に同じ行動かを確かめる必要があります。

この論文が扱うのは、学ぶ側が作った言葉だけを教える側が直接採点する学び方です。両者が同じ言葉の一覧を使い、複数のEOSが単一回答の終了として同じ働きをすることを前提にします。

料理の手順書で、学ぶ人が「完成」、先生が「おわり」を好むとします。どちらも調理を終える印ですが、文字だけを比べる採点では「完成」が低く見積もられます。しかも学ぶ人が「おわり」を選ぶことがほぼなければ、先生の表現へ移る機会も得られません。このずれが繰り返されると、終える行動そのものが弱くなる、というのが中心の問題です。この比較は、二つの印が本当に同じ終了を表すときだけ成り立ちます。

既存研究は、教える側と学ぶ側の確率の差をどう採点へ使うか、長い回答の後ろで教える信号が弱くなること、選択が一部へ偏ることなどを長文化の理由として扱ってきました。本論文は、それらの説明に代わる万能の原因を主張しません。もっと低い段階にある、終了の印同士の食い違いを補う要因として加えます。

比較対象には、複数のEOSを停止集合へ登録するだけの方法があります。この方法なら、どちらかの印が出た時点で文章作りは止まります。しかし、学ぶ途中で各印が受ける採点は変わらないため、学ぶ側が好むEOSを弱める力は残ります。

著者らは4通りの扱いを比べます。第一は、複数のEOSを停止集合へ入れるだけです。第二は、教える側が複数のEOSへ置いた確率を、学ぶ側がすでに使う一つのEOSへ移します。第三がSemantic EOS Aggregationで、教える側と学ぶ側の双方について、同じ働きのEOSすべてに向けられた確率を合計します。第四は、教える側の確率を一つへ集めるだけでなく、学ぶ側が選べるEOSも一つに絞ります。

中心となる第三の方法は、学ぶ側がEOSを出したとき、個別の印が一致したかではなく、双方が停止全体へどれほど確率を置いたかを比べます。終了以外の言葉の採点は変えません。また、等価とみなしたEOSはすべて、文章作りを止める印として登録します。

通常のオンポリシー蒸留では、学ぶ側が実際に選んだ一語について、教える側の選びやすさと学ぶ側の選びやすさの差を使います。教える側がその語をより好めば強め、好まなければ弱める方向に働きます。問題は、停止の意味が同じでも印が違えば、個別の語としては不一致になる点です。

Qwen3では、学ぶ側が使う終了の印に教える側が十分な確率を置かず、教える側が使う印も学ぶ側にはほぼ選べませんでした。著者らは、教える側が好む印を学ぶ側が終端付近で選ぶ確率が約10の11乗分の1であり、学ぶ側にもともとあった終了確率は通常の学習中に約0.8からほぼゼロへ下がったと報告します。このため、単に「先生の印へ乗り換えればよい」とはなりません。

Semantic EOS Aggregationは、個々の印ではなく停止全体の確率を比べます。「完成」と「おわり」のどちらへ確率を置いても、料理を終える行動への支持として数える設計です。ただし、印の役割が違う場合まで足し合わせる設計ではありません。

主な条件では、Qwen3-1.7B-Baseを学ぶ側、思考を長く見せない設定の固定Qwen3-4Bを教える側にしました。数学問題のDAPO-Math-17KとTTRL形式を使い、200学習ステップで通常の方法と4つの扱いを比較しました。回答は最大7168トークンです。

モデルの違いを見るため、Llama 3.2とGemma 3にも広げました。さらにK2-Horizonでは、最初の学習段階、中間段階、追加学習後という異なる開始点から最終モデルを教える側にし、終了の好みが学習の途中でどう変わるかを調べました。最初の段階からの条件は400ステップ、途中段階と追加学習後からの条件は200ステップとして報告されています。

学習中の主な見方は二つです。一つは平均回答長、もう一つは7168トークンの上限へ達した回答の割合です。後者が高いほど、自然に終わらず打ち切られた回答が多いことを示します。著者らは終端付近で各EOSに向けられた確率も調べ、停止行動がどの印へ移ったかを追いました。

数学の正しさは、AMC23、AIME24、AIME25の各問題に16回答を作り、まず問題ごとの正解率を平均し、次に3つの問題集を同じ重みで平均するAvg@16で測りました。この区別は重要です。回答が短くなっただけで、数学の正しさまで上がったとは言えないからです。また、同じQwen3教師の回答でも、元の採点方法では6.28パーセント、同じ意味の数式の置き方を扱える採点方法では24.34パーセントでした。採点形式だけで値が大きく変わるため、正しさの数字には形式上の不確かさがあります。

停止集合だけをそろえた第一の方法は、Qwen3で通常の学ばせ方とほぼ同じ平均長と上限到達の推移を示しました。文章を止める設定を直すだけでは、学ぶときにEOSが弱められる問題を取り除けなかったという結果です。

Semantic EOS Aggregationは、Qwen3、Llama 3.2、Gemma 3のすべてで、通常の方法より回答長と上限到達を大きく減らしたと著者らは報告しました。ただし、Llama 3.2では教える側の長さとの差がより大きく残り、系列ごとの回復は同じではありませんでした。

K2-Horizonの途中段階と追加学習後から始めた条件では、学ぶ側が教える側のEOSをすでに十分選べました。その場合、補正の有無で長さ、上限到達、停止確率、数学評価に一貫した差はありませんでした。最初の段階から始めた条件では、初期に長さが増え、高いまま変動する時期を経て、後期に再び伸びました。停止確率はゼロへ近づき、ほぼすべての回答が上限へ達しました。この後期の現象は補正後にも残りました。

停止集合だけを変える比較は、実行時の設定と学習時の採点を切り分けています。結果が通常の方法とほぼ同じだったことは、停止集合の不足だけでは主実験の長文化を説明できないことを示します。

教える側のEOS確率を学ぶ側の一つのEOSへ移す方法、双方の総停止確率を使う方法、学ぶ側のEOS選択まで一つへ絞る方法の比較は、どの側をどこまで変えるかを分けています。ただし、示された資料には各時点の厳密な数値表がなく、図から細かな差を補ってはいけません。

補正後にも最初の一時的な長さ増加と、K2-Horizon後期の再長文化が残りました。論文は、現在の一語だけを見る学び方が、後の言葉で生じる教える側とのずれを考えないことを可能な要因として論じますが、原因を確定したわけではありません。

3系列で改善した結果は、終了の印の食い違いが実在する要因だという説明と合います。しかし、補正後にも長文化が残るため、「長い回答はすべてEOSの違いで起きる」という読み方とは合いません。既存研究が扱った、長い回答で教える信号が悪くなることや、選び方が極端になることなどが同時に働く可能性は残ります。

また、回答長の改善と数学の正しさは部分的に分かれています。短くなった結果を、そのまま考える力の向上や費用の低下と読み替える根拠は、この研究にはありません。採点方法によって同じ教師のAvg@16が6.28パーセントから24.34パーセントへ変わった点も、正しさの比較には出力形式の確認が必要だと示します。

第一に、終了の印の食い違いは長文化の完全な説明ではなく、K2-Horizon後期に補正後も残った停止崩れの原因は分かっていません。第二に、詳しい検証は単一ターンの数学問題です。会話の交代、文書の終了、道具への引き渡しは別の出来事なので、一つの終了クラスへ無条件にまとめられません。

第三に、文章の型と採点方法の分析はQwen3の3種類の型と2種類の採点方法に限られます。LlamaやGemmaの形式差、数学以外の仕事へ同じ説明が広がるかは未確認です。第四に、補正直後の長さ増加やモデル系列ごとの残り方には差があり、論文が示す将来のずれは考えられる寄与要因であって、原因の証明ではありません。最後に、停止が改善しても数学の正しさが一貫して向上するとは示されていません。

次に確かめるべきなのは、補正後の後期長文化を何が起こすかです。停止確率だけでなく、回答の途中で教える信号がどう変わるかを分けて調べる必要があります。また、どのEOSが本当に同じ停止なのかを、仕事や会話の状態ごとに決める方法も必要です。

料理の例なら、「完成」と「おわり」はまとめられても、「次の人へ渡す」は別の行動かもしれません。同様に、会話型AIではターン交代と文書終了を区別したまま学べるかが未解決です。数学以外の仕事、別の文章の型、別の採点方法でも長さと正しさを独立に測ることが、結果の広がりを判断する条件になります。

3系列で総停止確率をそろえると長さと上限到達が減り、停止集合の変更だけでは減らなかった観察は、学習を点検するときに「どの印で止まるか」だけでなく「停止という行動全体へどれほど確率を置くか」を見るべきだという条件付きの示唆になります。料理の手順書なら「完成」と「おわり」をまとめられますが、「次の担当者へ渡す」は別かもしれません。実際の採用判断では、各印が同じ出来事か、教える側の印を学ぶ側が選べるか、補正後にも後期長文化が残るかを別々に試す必要があります。数学の正しさの向上や費用の低下まで、この結果から約束することはできません。

sampled-token OPDは、生徒が生成したトークンだけを教師が直接評価する。この局所的な更新で、教師と生徒のEOS選好の不一致が応答長をどう変え、意味的な停止確率の整合で緩和できるかが研究課題である。

教師がEOS A、生徒が等価なEOS Bを好む場合、Bには負の学習信号が入り得る一方、生徒確率が極小のAはほぼサンプルされず、移行も進まない。提案法はAとBの確率を各モデル内で合計し、個別トークンではなくstop行動として比較する。非EOSトークンの更新は変えない。

著者らはQwen3、Llama 3.2、Gemma 3で、提案法が通常のOPDより平均応答長とclipping ratioを大幅に低減したと報告する。Qwen3では停止集合だけを共有するFix 1が通常条件とほぼ同じ軌跡だった。評価は7168トークン上限と数学3ベンチマークのAvg@16を用いるが、停止改善は数学性能の一貫した向上を意味しなかった。

K2-Horizonでは補正後にも学習後期の再長文化と停止確率低下が残り、EOS不整合は十分条件でも完全な説明でもない。また、異なるEOSがターン交代、文書終了、ツール移譲を表す環境では、単一クラスへの集約は適用できない。

3系列で長さとclippingが低下し、デコード停止集合だけの整合では改善しなかったことは、等価EOSを持つOPDでは損失内の総停止確率も診断対象にする価値を示す。ただし、その設計判断はEOSの機能的等価性が確認できる場合に限られ、後期長文化の別機構も切り分ける必要がある。

sampled-token OPDでは、教師は生徒が生成したトークンだけを直接評価する。教師と生徒が宣言上は同じ停止集合を持っていても、停止確率を異なるEOSへ置く場合がある。本論文は、この不一致が生徒固有の終了行動を抑え、過度な長文化や生成上限到達を生む機構か、また意味的な停止行動を整合すれば緩和できるかを検証する。

既存研究は、逆KL型の目的、長い軌跡での教師信号劣化、エントロピー崩壊などをOPDの長文化機構として論じてきた。本論文はEOS不整合を、それらと競合する単一原因ではなく、補完的で低水準の要因と位置づける。

最も単純な対策は、教師と生徒が使う複数のEOSをデコーダの停止集合へ登録することだ。しかしこれは生成時にどのトークンで停止するかを変えるだけで、学習目的内の個別トークン確率は変えない。このFix 1が提案法の重要なベースラインとなる。

教師が等価EOSの一方へ停止確率を集中させ、生徒が別のEOSを生成すると、意味的には正しい停止でもサンプルされたEOSの係数が負になり得る。さらに教師優先EOSに対する生徒確率が極小なら、そのEOSをサンプルして正の信号を受ける機会もほぼない。

Semantic EOS Aggregationは、等価EOS集合に属する確率を各モデル内で合計し、EOSがサンプルされた場合は総停止確率の対数比を更新信号に使う。これにより表層トークンの選択差と、停止するか継続するかという行動差を分離する。

通常のsampled-token OPDでは、生徒が生成したトークンについて教師確率と生徒確率の対数差が更新係数になる。したがって、教師が生徒EOSへ低い確率しか与えないと、生徒が自然終了するたびにそのEOSが抑制される。Qwen3の通常OPDでは、教師優先の<|im_end|>に対する生徒確率が終端付近で約10のマイナス11乗であり、生徒固有の<|endoftext|>確率は約0.8からほぼゼロへ低下したと報告された。

Fix 1は停止集合のみを共有する。Fix 2は教師の全等価EOS質量を、生徒がすでに支持する正準EOSへ写像する。Fix 3であるSemantic EOS Aggregationは教師・生徒双方の総EOS質量を比較する。Fix 4は教師質量を正準EOSへ集約し、生徒の他EOSをサンプリング分布から除いて再正規化する。Fix 3では生徒の分布を保ち、非EOSトークンの扱いも維持できる。

主実験はQwen3-1.7B-Baseを生徒、非思考モードの固定Qwen3-4Bを教師とし、DAPO-Math-17K、TTRL形式、200学習ステップで4方式を比較する。応答上限は7168トークンである。系列横断の確認にはLlama 3.2とGemma 3を用い、学習段階による違いにはK2-Horizonを用いる。

学習時は平均応答長、clipping ratio、最終位置のEOS確率を追跡する。独立評価のAvg@16は、AMC23、AIME24、AIME25で各問題16回答を生成し、問題内正解率を平均してから3ベンチマークを等重みで平均する。これは長さ制御と数学性能を分離して見るための設計である。

Qwen3でFix 1は通常OPDとほぼ同じ平均長・clipping軌跡を示し、デコード停止集合の整合だけでは不十分だった。Semantic EOS AggregationはQwen3、Llama 3.2、Gemma 3の全系列で通常OPDより応答長とclippingを大幅に低減した。ただしLlama 3.2では教師参照長との差がより大きく残った。

K2-HorizonのmidtrainingおよびSFT初期化では、教師EOSがすでに十分支持されており、補正の有無で長さ、clipping、EOS確率、下流正解率に一貫した差はなかった。一方、Pretrain-to-Finalでは初期増加、高止まりして変動するplateau、後期再増加が現れた。後期には停止確率がゼロへ近づき、ほぼ全ロールアウトが上限へ到達し、この傾向は集約後にも残った。

適用候補は、教師と生徒が同一のトークナイザーと語彙を共有し、複数EOSが単一ターンの同じ終了イベントを表すbase-to-post-trained蒸留である。生徒固有EOSの確率低下、教師優先EOSの極小なサンプリング確率、Fix 1の失敗を観測できれば、不整合仮説をより具体的に診断できる。

停止表現がすでに整合している場合や、反復、教師信号劣化、局所目的など別機構が支配的な場合には効果を期待できない。また、停止挙動の改善だけから数学推論精度の改善を推定してはならない。

EOS不整合は重要だが非網羅的な原因であり、K2-Horizon後期に補正後も残る停止崩壊の原因は未解明である。補正後の初期長化について、論文は局所的なOPD更新が将来の教師・生徒不一致を無視する可能性を論じるが、因果的な確定説明ではない。

検証は単一ターン数学推論が中心である。マルチターンやエージェント環境では、ターン終了、文書終了、ツール移譲が異なる制御イベントになり得るため、無条件の集約は不適切である。テンプレートとgraderの分析もQwen3の3テンプレート、2 graderに限られる。同じ教師出力のAvg@16が元graderの6.28%から形式互換パーサの24.34%へ変わったため、評価形式の感度も結論の境界となる。

3系列で総停止確率の整合が長さとclippingを改善し、Fix 1では改善しなかった観察から、等価EOSを持つOPDでは、デコード設定に加えて損失内の停止確率を監視する設計が妥当な候補になる。ただし、これはEOSが同じ制御イベントを表す条件付きであり、K2-Horizon後期の残存崩壊やマルチターンの意味差を別に検証しなければならない。停止指標とタスク性能も独立に測るべきである。

対象は、生徒が生成した各トークンだけを教師が直接採点するsampled-token OPDである。教師と生徒が同一のトークナイザーと語彙を共有していても、baseモデルとpost-trainedモデルでは、宣言上の停止集合が同じまま異なるEOSへ停止確率を置くことがある。

中心仮説は、機能的に等価なEOS間の表層的不一致が、生徒の停止行動への負の更新へ変換されるというものだ。成立には、対象EOSが同じ単一ターン終了を表すこと、教師優先EOSに対する生徒のサンプリング支持が小さいこと、個別トークンを採点する更新であることが関係する。異なるEOSが異なる制御遷移を表す場合、等価クラスという仮定自体が崩れる。

OPDの長文化については、逆KL目的の性質、長い軌跡における教師信号の劣化、エントロピー崩壊など複数の説明が既存研究で提示されている。本論文はtermination-token mismatchを、それらを置き換える統一原因ではなく、共存し得る低水準の機構として導入する。

この位置づけはK2-Horizonの結果にも支えられる。停止表現を整合しても後期の再長文化が残るため、EOS不一致の除去は長さ動態全体の十分条件ではない。研究上の新規性は、停止集合の宣言ではなく、各モデルがどのEOSへ確率質量を置くかと、sampled-token更新がその差をどう増幅するかを結び付けた点にある。

論文は未補正OPDに対して4つの終了処理を比較する。Fix 1は全等価EOSをデコード時の停止集合へ登録する。Fix 2は教師のEOS確率質量を、生徒が支持する正準EOSへ写像し、生徒分布と通常更新を維持する。Fix 3のSemantic EOS Aggregationは、教師・生徒それぞれで等価EOSの確率を合計し、EOSがサンプルされた場合に総停止確率の対数比を用いる。Fix 4は教師質量を正準EOSへ集約し、生徒の他の等価EOSをサンプリング分布から除外して再正規化する。

Fix 1はデコード、Fix 2は教師側表現、Fix 3は意味的行動、Fix 4は双方を単一トークン行動空間へ制約する処置として整理できる。Fix 3では非EOSトークンを変更せず、生徒のEOS間分布も残すため、停止するか否かという意味的決定だけを補正する。

sampled-token OPDでは、生徒が実際に生成したトークンについて教師・生徒の対数確率差が更新係数となる。したがって生徒がEOS eを生成しても、教師が等価な別EOSへ確率を置けば、eの教師確率は低く、停止意図が同じでも負の係数になり得る。教師優先EOSを生徒がほぼ生成しない場合、その代替EOSへ直接移行する正のサンプルも得られない。

Qwen3では、教師優先の<|im_end|>に対する生徒確率が最終位置で約10のマイナス11乗だった。通常OPD中、生徒固有の<|endoftext|>確率は約0.8からほぼゼロへ低下した。この観測は、負の更新と探索不足が同時に起こる説明に対応する。

Semantic EOS Aggregationは、EOS集合内の各確率を加算して総停止確率を作る。EOSがサンプルされたときは、教師と生徒の総停止確率の対数比を使うため、同じ停止行動を異なるトークンへ配分した差は更新から除かれる。非EOSサンプルは通常どおり扱い、全等価EOSをロールアウト停止トークンとして登録する。論文本文の完全な記号式が入力資料にないため、ここでは新たな式を構成しない。

主実験はQwen3-1.7B-Base生徒、非思考モードの固定Qwen3-4B教師、DAPO-Math-17K、TTRL形式、200学習ステップで実施された。応答上限は7168トークンで、未補正OPDとFix 1からFix 4を比較する。

系列横断評価ではLlama 3.2とGemma 3のbase-to-post-trained蒸留を加える。段階別分析にはK2-Horizonを用い、Pretrain-to-Final、Midtrain-to-Final、SFT-to-Finalを比較する。Pretrain-to-Finalは7168トークン上限で400ステップ、midtrainingおよびSFT初期化は200ステップである。

この設計により、EOS選好が大きく異なる初期状態と、教師EOSをすでに十分支持する後期初期化を比較できる。ただし、検証タスクは単一ターン数学推論に集中している。

学習動態は平均応答長、clipping ratio、ロールアウト最終位置の個別EOS確率で測る。clipping ratioは7168トークン上限へ達した割合であり、自然終了せず打ち切られる現象を直接捉える。個別EOS確率は、総停止確率の不足と、確率質量が別EOSへ移っただけの状態を区別するために必要である。

タスク性能にはAMC23、AIME24、AIME25を使う。各問題から16回答を生成して問題内正解率を平均し、3ベンチマークを等重みで平均したAvg@16を報告する。この指標は応答長とは別軸であり、停止改善が推論性能を維持または改善したかを確認する。

評価器の形式感度も検討される。同じQwen3-4B教師のDAPO形式出力に対し、元のDAPO graderはAvg@16を6.28%、等価なLaTeX配置を扱う互換パーサは24.34%とした。正規化と完全一致の基準を維持しても大差が出るため、出力形式への対応は性能解釈の妥当性に関わる。

Qwen3主実験でFix 1は未補正OPDとほぼ同じ平均応答長・clipping ratioの軌跡を示した。したがって、複数EOSを実行時の停止集合へ加えるだけでは、学習目的内の負の教師信号は解消されない。

Semantic EOS Aggregationは、Qwen3、Llama 3.2、Gemma 3のすべてで未補正OPDより応答長とclippingを大幅に低減した。ただしLlama 3.2では教師参照長との差がより大きく残り、回復の程度は系列間で均一ではない。

K2-HorizonのMidtrain-to-FinalとSFT-to-Finalでは、教師側EOSへの生徒支持がすでにあり、補正の有無で長さ、clipping、停止確率、下流正解率に一貫した差がなかった。Pretrain-to-Finalでは、初期の長さ増加、高止まりして変動するplateau、後期の再増加が観測された。後期には停止確率がゼロへ接近し、ほぼ全ロールアウトが上限へ達した。この再長文化はSemantic EOS Aggregation後にも残った。

数学性能についてはモデル依存であり、停止挙動の改善が一貫した正解率向上へ結び付いたとは報告されていない。

Fix 1はデコード時停止と学習時目的を切り分けるアブレーションである。失敗結果は、観測された長文化が「停止トークンを登録し忘れた」だけではないことを示す。Fix 2からFix 4は、教師質量の写像、意味的確率の比較、生徒行動空間の制約を段階的に変える。ただし入力資料には各方式の全チェックポイント数値がなく、図の定性的差を越えた数値比較はできない。

K2-Horizonは不一致仮説の境界を示す。教師EOSをすでに支持する初期化で補正効果が一貫しないことは、不一致がない条件で常に利益を出す一般的な長さ正則化ではないことと整合する。一方、Pretrain-to-Final後期の失敗は、初期の不一致を直しても別機構が停止確率を崩せることを示す。

補正後の初期長化について、論文は局所OPDが将来時点の教師・生徒不一致を考慮しないことを可能な寄与要因として解析する。しかし、これは因果的に確定された説明ではなく、代替機構を排除していない。

系列横断の改善とFix 1の失敗は、個別EOSの不一致が長文化へ寄与する解釈を支持する。ただし提案法は停止確率の学習信号そのものを変更するため、改善の全量を特定の負の更新だけへ帰属できるとは限らない。系列ごとの残差差も、初期EOS支持、他の長文化機構、学習段階の違いが関与し得ることを示す。

K2-Horizonの後期再長文化は、EOS不一致が必要条件ではない可能性を明確にする。教師信号劣化、反復、局所目的、エントロピー変化など既存の説明と組み合わせて検証する必要がある。

また、短い応答や低いclippingを、より高い推論能力、低い運用費用、より良い利用者体験へ直接読み替えることはできない。論文が測定したのは主に長さ、上限到達、EOS確率、数学正解率であり、費用や外部追試は示されていない。

第一に、termination-token mismatchは重要だが非網羅的であり、補正後にも残るK2-Horizon後期の停止崩壊は未解明である。第二に、補正後の初期長化や系列別の回復差が残り、将来不一致の分析は仮説にとどまる。

第三に、実験は単一ターン数学推論を中心とする。マルチターンやエージェント環境では、メッセージ終了、文書終了、ツール移譲が異なる制御フローを持つため、文脈依存の終了クラスが必要になる。第四に、プロンプトと評価形式の分析はQwen3、3テンプレート、2 graderに限定され、Llama、Gemmaや他タスクへの形式面の一般化は未検証である。

第五に、数学正解率の変化はモデル依存であり、停止改善から性能向上を保証できない。厳密な時点別数値表が入力資料にない結果については、効果量を補間できない。

未解決の中心は、Semantic EOS Aggregation後にも生じる後期停止崩壊の機構である。将来の教師・生徒不一致、長い軌跡での信号劣化、反復、分布の集中を独立に操作する比較が必要になる。

次に、意味的EOSクラスを固定集合ではなく文脈依存で定義できるかが問われる。ターン交代、最終回答、ツール呼び出し後の移譲を区別しつつ、それぞれの内部では表層トークン差を集約する設計が検討対象になる。

評価面では、長さとclippingだけでなくタスク性能を独立に測り、出力形式に頑健なgraderで確認する必要がある。別タスク、別テンプレート、別モデル系列で、EOS支持の初期状態を診断してから補正効果を比較すれば、適用条件をより明確にできる。

3系列で総停止確率の整合が長さとclippingを低減し、Fix 1が失敗した結果は、等価EOSを持つsampled-token OPDの設計単位を表層トークンから意味的停止行動へ移す根拠になる。ただし、その変更はEOSが同一の制御イベントだと確認できる場合に限る。K2-Horizon後期の残存崩壊は別機構の検査を要求し、マルチターンでは文脈依存クラスが必要になる可能性がある。したがって実務的な判断は、EOS支持、Fix 1の成否、補正後の長さ、独立したタスク性能を順に測る条件付きのものになる。

教師が生徒のsampled tokenのみを評価するOPDで、宣言上のstopping setが同一でもEOS preferenceが異なると、停止行動がどのように抑制されるかを問う。さらに、decoder-side alignmentとloss-side semantic alignmentの効果を分離する。

生徒EOSに対する教師確率が低いと、そのEOSのsampled-token係数は負になり得る。一方、teacher-preferred EOSの生徒確率が極小なら代替EOSはほぼサンプルされない。提案法は等価EOS集合の確率を各モデルで合計し、個別EOSではなくsemantic stopの総確率を比較する。

Semantic EOS Aggregationは、Qwen3、Llama 3.2、Gemma 3でvanilla OPDより平均応答長とclipping ratioを大幅に低減したと著者らは報告する。Qwen3のFix 1はvanillaとほぼ同じ軌跡で、stopping setの共有のみでは不十分だった。停止改善は数学Avg@16の一貫した向上を意味しない。

K2-Horizon Pretrain-to-Finalでは補正後にも後期再長文化と停止確率崩壊が残るため、mismatchは非網羅的な要因である。また、複数EOSが異なる制御イベントを表すmulti-turn・agent設定へ無条件に集約を移せない。

Fix 1の失敗と3系列での集約効果は、機能的等価性が成立するOPDではsemantic stop probabilityを目的内で整合する設計を支持する。ただし、後期崩壊の別機構と文脈依存の終了意味を検証しない限り、一般的な長さ制御手法とはみなせない。

sampled-token OPDではteacherがstudentのsampled actionだけを直接評価する。base studentとpost-trained teacherが、同じstopping setを宣言しながら異なるEOS tokenへ停止確率を置く場合、student-preferred EOSが負に更新され、length inflationを引き起こすかが中心課題である。論文はdecoder-side stopping alignmentとobjective-level semantic alignmentを比較し、因果機構の範囲を調べる。

既存研究はreverse-KL objective、長いtrajectoryでのteacher signal degradation、entropy collapseなどをOPD長文化の機構として報告している。本論文はtermination mismatchを、それらと両立する補完的要因に位置づける。

直接的なbaselineであるFix 1は、全等価EOSをdecoder stopping setへ登録する。しかしindividual-token probabilityとOPD coefficientは変更しないため、student EOSへの負のteacher signalを残す。この比較が、実行時停止と学習目的の差を切り分ける。

studentがEOS eを生成したとき、teacherが別の等価EOSへ質量を置けば、eに対するteacher probabilityは低く、log-probability gapはeを抑制する方向になり得る。teacher-preferred EOSに対するstudent probabilityが極小なら、そのactionをサンプルして移行する機会も乏しい。

Semantic EOS Aggregationは、等価EOS集合の確率質量をteacherとstudentでそれぞれ合計し、EOS sampleに対する係数を総停止確率のlog-ratioへ置き換える。non-EOS tokenは変更せず、等価EOSをrollout stopping tokensとして登録する。

Qwen3の診断では、teacher-preferred <|im_end|>に対するstudent probabilityがrollout終端付近で約10のマイナス11乗だった。vanilla OPD中、student-native <|endoftext|> probabilityは約0.8からほぼゼロへ低下した。これは、native EOSの反復的抑制と、teacher EOSを探索できない状態が併存するという説明に対応する。

Fix 2はteacherの全等価EOS質量をstudentが支持するcanonical EOSへ写像し、student distributionと通常のsampled-token updateを保つ。Fix 3は両側の総EOS質量をsemantic stopとして比較する。Fix 4はteacher massをcanonical EOSへ集約し、studentの他EOSをsampling distributionから除外して再正規化し、単一EOS action spaceを作る。

main setupはQwen3-1.7B-Base student、non-thinking Qwen3-4B fixed teacher、DAPO-Math-17K、TTRL format、200 training stepsである。response limitは7168 tokens。cross-family evaluationはLlama 3.2とGemma 3を含み、stage-wise evaluationにはK2-HorizonのPretrain-to-Final、Midtrain-to-Final、SFT-to-Finalを用いる。

training dynamicsはmean response length、clipping ratio、final-position EOS probabilityで評価する。task performanceはAMC23、AIME24、AIME25で各問題16 responsesを生成し、問題内accuracyを平均後、3 benchmarksを等重み平均するAvg@16で測る。

Fix 1はQwen3でvanilla OPDとほぼ同じlength・clipping trajectoryを示し、decoder alignmentのみではmismatch-induced updateを除去できなかった。Semantic EOS AggregationはQwen3、Llama 3.2、Gemma 3の全系列でvanillaよりresponse lengthとclippingを大幅に低減した。ただしLlama 3.2にはteacher reference lengthへのより大きな残差があった。

K2-Horizon Midtrain-to-FinalとSFT-to-Finalではteacher EOSがすでに十分支持され、補正有無でlength、clipping、EOS probability、downstream accuracyに一貫した差がなかった。Pretrain-to-Finalでは初期増加、高止まりするplateau、後期再増加が現れ、後期にはstop probabilityがゼロへ近づき、ほぼ全rolloutが上限へ達した。この現象はSemantic EOS Aggregation後にも残った。

停止挙動の改善と数学性能は部分的に分離し、Avg@16の一貫した向上は示されていない。

適用範囲は、teacherとstudentがtokenizer・vocabularyを共有し、複数EOSがsingle-turn responseの同一停止イベントとして機能するbase-to-post-trained OPDである。student-native EOSの抑制、teacher EOSへの極小sampling support、Fix 1の失敗を診断できる設定が特に該当する。

EOS alignmentが既に成立する場合、またはteacher signal degradation、repetition、local objectiveなど別機構が支配する場合には、集約だけでの改善は期待できない。multi-turn control flowへはsemantic classの文脈依存化が必要になる。

termination mismatchは重要だがexhaustiveではなく、K2-Horizon後期のalignment後collapseは未解明である。補正後の初期length increaseについて、将来のteacher–student mismatchをlocal OPDが省略するという分析は可能な寄与要因であり、因果的確定ではない。

実験はsingle-turn mathematical reasoningが中心で、message termination、document termination、tool handoffを区別すべきmulti-turn・agent settingは未検証である。format analysisもQwen3の3 templatesと2 gradersに限定される。同じteacher outputのDAPO-format Avg@16がoriginal graderの6.28%からformat-compatible parserの24.34%へ変化しており、評価器感度がperformance claimの境界となる。

Fix 1とFix 3の差、および3 familyでのlength・clipping改善は、機能的等価EOSを持つOPDではsemantic stop probabilityを直接監視・整合する設計判断を支持する。ただし、この含意はEOS classの同値性に依存する。K2-Horizon後期の残存collapse、multi-turnのcontrol semantics、task accuracyの分離を同時に検証しなければ、一般的な最適化原理へ拡張できない。

対象は、student policyから生成したtokenのみをteacherが直接評価するsampled-token OPDである。base studentとpost-trained teacherは同一tokenizer・vocabularyを共有し、declared stopping setが同じでも、termination probabilityを異なるEOS tokenへ割り当て得る。

論文のmechanistic hypothesisは、studentが生成するEOS eに対するteacher probabilityが低いと、意味的には正しいterminationであってもeのsampled-token coefficientが負になり、student-native stopping actionが反復的に抑制されるというものだ。同時に、teacher-preferred EOSへのstudent probabilityが極小なら、そのtokenをsampleして直接学習する機会も生じない。

この議論はEOS token間のfunctional equivalenceを仮定する。single-turn answer terminationでは成立し得るが、message end、document end、tool handoffが異なるtransitionを持つ環境にはそのまま適用できない。

OPD length inflationに対する既存の説明には、reverse-KL objectiveの性質、long trajectoryにおけるteacher signal degradation、entropy collapseなどがある。本論文はtermination mismatchを排他的な代替仮説ではなく、それらと共存する低水準の要因として置く。Abstractもこれをimportant but non-exhaustive sourceと表現する。

研究上の焦点は、decoderがどのtokenで停止するかという設定と、training objectiveが停止行動をどう評価するかの分離にある。stopping setを揃えてもindividual token probabilityへの負の係数が残るなら、decoder-side correctionだけでは不十分である。この予測をFix 1で検証し、semantic action-level correctionとの差を測る。

stage-wise K2-Horizon分析は、termination preferenceがtraining stageで変化することと、mismatch correction後にも別のlate-stage inflationが存在することを示すため、提案機構の適用境界を形成する。

比較する終了処理は4種である。Fix 1は全functionally equivalent EOSをruntime stopping setへ登録するが、training objective内のtoken probabilityは変更しない。Fix 2はteacherの全EOS massを、studentが既に支持するcanonical EOSへ写像する。student distributionと標準sampled-token updateは維持される。

Fix 3のSemantic EOS Aggregationはteacher・student双方でsemantic EOS classのtotal probability massを計算し、EOS sampleに対してtotal stop probabilityのlog-ratioを用いる。non-EOS tokensは未変更で、全等価EOSをrollout stopping tokensとして登録する。Fix 4はteacher massをcanonical EOSへ集約し、studentの他のequivalent EOSをsampling distributionから除外してrenormalizeし、single-EOS action spaceを構成する。

したがってFix 1はdecodingのみ、Fix 2はteacher representation、Fix 3はaction semantics、Fix 4はteacher representationとstudent action spaceを同時に変える比較となる。

標準sampled-token OPDでは、studentが生成したtokenに対するteacherとstudentのlog probability差がscore-function updateの係数になる。teacherが別の等価EOSへ停止massを置く場合、sampled EOS eのteacher probabilityは低くなり、eはnegative coefficientを受け得る。teacher EOSのstudent supportがほぼゼロなら、on-policy samplingは代替actionへの移行信号をほぼ生成しない。

Qwen3診断では、rollout最終位置におけるteacher-preferred <|im_end|>のstudent probabilityが約10のマイナス11乗だった。vanilla OPD中、student-native <|endoftext|> probabilityは約0.8からほぼゼロへ低下した。自然終了rolloutと7168-tokenでclipされたrolloutを含む最終位置の観測である。

Semantic EOS Aggregationはindividual EOS identityをmarginalizeし、semantic classの総massでstop-versus-continue decisionを評価する。これによりclass内部のmass allocation差は罰せず、総停止確率の差だけを更新へ残す。入力資料には論文の完全な記号定義を伴う式が収録されていないため、新規の数式表現は導入しない。

main experimentはQwen3-1.7B-Base student、non-thinking modeのfixed Qwen3-4B teacher、DAPO-Math-17K、TTRL format、200 training stepsで構成される。response budgetは7168 tokensで、vanilla OPDとFix 1–4を比較する。

cross-family experimentsはLlama 3.2とGemma 3のbase-to-post-trained settingを含む。K2-HorizonではPretrain-to-Final、Midtrain-to-Final、SFT-to-Finalを比較し、termination preferenceとcorrection effectのstage dependenceを調べる。Pretrain-to-Finalは7168-token budgetで400 steps、midtraining・SFT initializationは200 stepsである。

このstage-wise設計により、teacher-side EOSへのstudent supportが乏しい初期段階と、既に支持がある後期段階を分離できる。ただしtask domainはsingle-turn mathematical reasoningに限られる。

training dynamicsの主要metricsはmean response length、7168-token limitへの到達率であるclipping ratio、rollout final positionのEOS probabilityである。length単独では自然な詳細化と停止失敗を区別しにくいが、clippingとEOS probabilityを併用することで、budget exhaustionとtermination actionの崩壊を直接追跡できる。

downstream performanceにはAMC23、AIME24、AIME25を用いる。各問題から16 responsesを生成し、per-problem accuracyを平均した後、3 benchmarksをequal weightで平均するAvg@16である。length-control metricとは別にaccuracyを測ることで、停止改善をreasoning improvementと誤認しない設計になっている。

grader validityには大きなformat sensitivityがある。同一Qwen3-4B teacherのDAPO-format outputは、original DAPO graderで6.28%、equivalent LaTeX placementを扱うformat-compatible parserで24.34%だった。normalizationとexact-match criterionを維持した比較であるため、parser coverageがabsolute accuracyへ強く影響する。

Qwen3 main experimentでFix 1はvanilla OPDとほぼ同じmean length・clipping trajectoryを示した。declared stopping setの共有は、objective内のindividual-EOS negative signalを除去しないという機構予測と整合する。

Semantic EOS AggregationはQwen3、Llama 3.2、Gemma 3の全familyでvanilla OPDよりresponse lengthとclippingを大幅に低減したと著者らは報告する。ただしLlama 3.2ではteacher reference lengthとの差がより大きく残り、family間でresidual inflationは異なる。

K2-Horizon Midtrain-to-FinalとSFT-to-Finalではteacher EOSへのstudent supportが既に十分で、correction有無によるlength、clipping、stop probability、downstream accuracyの一貫した差はなかった。Pretrain-to-Finalでは、initial increase、高止まりして変動するplateau、late-stage reinflationというtrajectoryを示した。late stageではstop probabilityがゼロへ近づき、ほぼ全rolloutがgeneration limitへ到達した。このreinflationはSemantic EOS Aggregation後にも残る。

accuracy effectはmodel-dependentであり、termination behaviorの改善がmathematical reasoning performanceの一貫した向上をもたらすとは示されていない。

Fix 1はruntime terminationとtraining signalの必要性を切り分ける主要ablationである。そのfailureはdecoder configuration aloneという説明を退け、loss-side mismatch correctionの必要性を支持する。Fix 2–4は、teacher mass mapping、bilateral semantic aggregation、student action-space restrictionを分離する設計である。ただし入力資料には各methodのcheckpoint-level numerical tableがなく、図の定性的報告以上の効果量は復元できない。

stage initializationも機構検証として働く。teacher EOSを既に支持するMidtrain・SFT initializationでcorrection effectが一貫しないことは、Semantic EOS Aggregationがmismatch非依存の一般的length penaltyではないことと整合する。一方、Pretrain-to-Final late-stage failureは、initial mismatchを修正しても別のmechanismがterminationを崩せることを示す。

correction後のearly length increaseについて、論文はlocal OPDがfuture student–teacher mismatchを省略する可能性を解析するが、causal identificationではない。plateauもteacher lengthへのrecoveryではなく、高水準で変動する段階として解釈すべきである。

Fix 1のfailure、Qwen3のEOS probability trace、3-family improvementはmismatch accountを共同で支持する。しかし、Semantic EOS AggregationはEOS sampleの学習信号を直接変更するため、観測改善の全量が単一のnegative-coefficient pathだけに由来するとまでは確定しない。family-specific residualは、initial support、teacher behavior、他のlength dynamicsの寄与を許す。

K2-Horizonのlate-stage reinflationは、termination mismatchがlength inflationの必要条件でも十分条件でもない可能性を示す。teacher signal degradation、repetition、entropy dynamics、local objectiveなどと組み合わせたfactorial analysisが必要である。

また、response lengthとclippingの低下は、latency、cost、user utility、reasoning qualityの直接測定ではない。Avg@16もgrader formatに敏感であるため、短文化を性能改善や費用削減へ外挿できない。

第一に、termination mismatchはnon-exhaustiveであり、alignment後にも残るK2-Horizon late-stage collapseの原因は未解明である。第二に、early transient inflationとfamily-dependent recoveryが残り、future-mismatch accountはpossible contributorにとどまる。

第三に、single-turn mathematical reasoning以外の外的妥当性が未確立である。multi-turn・agent settingではmessage termination、document termination、tool handoffが異なるcontrol-flow semanticsを持つため、unconditional semantic classは不適切になり得る。context-dependent termination classが必要だが未検証である。

第四に、prompt・evaluation format analysisはQwen3の3 templatesと2 gradersに限定され、Llama、Gemma、他taskへの一般化は未検証である。第五に、task accuracyはmodel-dependentで、termination correctionから一貫したperformance gainを主張できない。外部追試、inference latency、operational costも入力資料では測定されていない。

最優先の問いは、semantic termination alignment後のlate-stage collapseを生む機構である。future mismatch、long-horizon teacher signal degradation、repetition、entropy changeを独立操作し、stop probabilityとtrajectory-level behaviorを同時に測る必要がある。

次に、semantic EOS classをcontext-conditionedに定義できるかが課題となる。multi-turn systemsでは、同じ表層EOSでもconversation stateによりturn handoffとfinal terminationを分ける必要がある。機能的等価性を静的token setではなくcontrol stateとの組で定義する方向が考えられるが、本論文は検証していない。

外的妥当性については、他task、他format、他grader、他model familyで、初期EOS supportを事前診断した層別評価が必要である。length、clipping、semantic stop probability、task accuracyを独立に報告すれば、どの条件でaggregationが必要か、どの条件で別機構を探索すべきかを明確化できる。

Fix 1のfailure、Qwen3のtoken-level trace、3-familyでのaggregation効果は、機能的等価EOSを持つsampled-token OPDでは、optimizationのaction unitをsurface tokenからsemantic stopへ変更する設計を支持する。ただしこれはEOS classが同一control eventを表すという条件付き推論である。K2-Horizon late-stage collapseは追加機構の存在を示し、multi-turnではcontext-dependent classが必要になり得る。したがって次の設計判断は、initial EOS support、decoder-only correction、semantic correction、task performanceを分離して検証することになる。