言語モデルの重み編集推論ループの修正BF16と状態木

Tree-Ising:重みのビット編集を離散最適化し、言語モデルの推論ループを修正

符号と指数だけを編集して推論の終了を促す。小型モデルでの改善と、比較条件の制約を読む

Tree-Ising: Repairing Language Models with Bit-Level Ising Edits

論文の書誌情報と関連リンク

概要

Tree-Isingは、小型言語モデルが思考を反復し、回答を出せない失敗を、学習せずに重みの編集で修正する手法だ。反復を弱めるだけでなく、思考の終了を促し、正常な処理への影響を抑える変更を探す。著者らの報告では、Qwen3.5-0.8BのMATH-500正答率は、先行エージェント編集の51.7%に対して54.6%となった。ただし、同じモデル系列の数学課題に限られ、設計にも先行編集の知見を使っている。一般的な能力を保った修正といえるかは未確認だ。

Hadi Salloum論文発表時:QDeep, Riyadh, Saudi Arabia
Ammar Ali論文発表時:LEAD (Lab for Efficient AI and Data), ITMO University
著者をもっと詳しく知る

論文と確認可能な公式情報に基づき、著者の所属と研究背景を掲載しています。

Hadi Salloum
所属
: 論文発表時:QDeep, Riyadh, Saudi Arabia
Ammar Ali
所属
: 論文発表時:LEAD (Lab for Efficient AI and Data), ITMO University

なぜ注目されているか

取得時点のHugging Faceでは62 upvotes、3コメントが記録され、著者の議論参加も示されています。関連GitHubリポジトリのスター数はHF上で8と報告されています。

議論全体へのリンク

なぜ重要なのか

回答できない原因が反復にあるなら、追加学習以外にも、限定した重み編集で改善できる可能性がある。本研究が判断材料にするのは、正答率だけでなく、終了のしやすさ、変更する重みやビットの量、元の正解を失う副作用だ。直接チェックポイントを書き換える修正方法を比べる際には有用だが、開発費全体や推論速度まで優れると判断する根拠にはならない。

この記事に出てくる言葉(6語)
推論ループ

モデルが同じような思考を繰り返し、最終回答へ進めない状態。

この論文では

生成上限への到達と、末尾における8トークン単位の反復率を使って判定する。

BF16

符号、指数、仮数で数値を表す、16ビットの浮動小数点形式。

この論文では

重みの仮数を保ち、符号と指数の許された変更だけで修正する。

状態木

複数の重みで最大指数を共有し、各重みをその指数との差、符号、仮数などで表す構造。

この論文では

64重みを一組にし、共有最大指数と仮数を変えない編集範囲を定める。

QUBO/Ising問題

二値の選択と、選択同士の相互作用によって決まる目的値を最小にする最適化問題。QUBOとIsing形式は変数の表し方を変えて対応させられる。

この論文では

各候補重みを変更するか、そのままにするかを選ぶ問題として使う。

dose

重み編集が、狙った方向の層出力をどれだけ変えるかを表す代理指標。

この論文では

ループ時の入力統計に基づき、反復を弱め、終了を促す編集の強さを測る。正答率そのものではない。

@k

@k@k

各問題についてk回生成したときの平均正答率を表す表記。

この論文では

MATH-500@4なら各問題4生成の平均であり、4回のうち一度でも正解すれば成功という指標ではない。

1. 読む前に知っておきたいこと

長く考えても、回答に届かない

対象は、Qwen3.5-0.8BとQwen3.5-2Bが数学問題を解く際の推論ループだ。同じ思考を反復し、生成できるトークン数の上限まで使っても最終回答を出せない。正答率を読むには、計算を誤った場合と、回答にたどり着かなかった場合の両方を意識する必要がある。

例えば、数学問題を解く小型モデルが、途中の検討を繰り返して回答を確定できない場面を考える。Tree-Isingが狙うのは、その反復を弱め、終了へ進ませることだ。ただし、終了を早めれば答えが正しくなるとは限らない。正常に考えている途中の処理を損なわずに、失敗する流れを変えられるかが課題となる。この例が示す範囲も、論文が扱う数学推論に限られる。

エージェントによる発見を、最適化へ移す

先行研究では、LLMエージェントが重みと順伝播の結果を読み、0.8Bモデルの層15と19を編集した。順伝播とは、入力をモデルに通して出力や内部の値を得る処理だ。編集箇所は、各層のMLPという処理部分から出力を書き込む射影行列、down_projだった。

Tree-Isingは、この公開ログを分析し、修正の狙いを数値化した。エージェントに編集を探索させ続ける代わりに、候補となる重み変更から、定めた目的に合う組み合わせを選ぶ。ただし、0.8Bの設計は先行研究から独立していない。対象層と編集の強さを参照しており、比較結果は、発見済みの修正を最適化として捉え直せるかという検証でもある。

ビットを限定する意味

BF16は、符号、数値の桁を決める指数、細かな値を表す仮数からなる16ビット形式だ。Tree-Isingは仮数を保存し、符号反転や指数変更に編集を限る。例えば、重みを負にする、2倍や半分にするといった候補を使う。重みを二値の値だけに置き換える手法ではない。

編集範囲を定めるのが「状態木」だ。行内の連続する64重みで最大指数を共有し、各重みにはそこからの指数差などを持たせる。共有最大指数を変えず、新しい例外表現を作らない移動だけを許す。これにより、変更可能な範囲と保存する部分が明確になる。編集は提供前に重みへ一度適用し、通常の推論グラフは維持する。ただし、圧縮されたチェックポイントへの直接パッチ適用は未実装である。

2. 手法と評価

反復中と終了直前の違いを測る

まず基本モデルに、MATHとGSM8Kの訓練問題を192問ずつ、計384問解かせる。各問題は1回生成し、上限は8,192トークンとする。上限に到達し、末尾で8トークンの並びの反復率が80%を超えた系列をループと判定する。別の128問は設定の比較に使う。

次に、内部の値を、反復が始まった後、正常に進んでいる区間、正解した思考の終了直前、それ以前の思考に分けて集める。反復時と正常時の平均差から「ループ方向」を、終了直前とそれ以前の平均差から「終了方向」を作る。ここでいう方向は、内部の値がどう変わるかを表すベクトルであり、モデルの意図を直接読み取ったものではない。

編集の狙いには、ループ方向から終了方向の0.5倍を差し引いた方向を使う。その方向の出力を弱めることで、反復の抑制と終了の促進を同時に目指す。先ほどの例なら、同じ検討を続ける傾向を弱めるとともに、回答を確定する直前に観測された状態へ近づける設計だ。

変更の効果、巻き添え、変更数を釣り合わせる

目的関数には三つの要素がある。一つ目のdoseは、ループ時の入力に対し、編集が狙った方向の出力をどれだけ変えるかを測る。二つ目は、保護対象の入力で層出力が変わる量だ。正常な処理への巻き添えを抑える役割を持つ。三つ目は、変更した重みの数に対する費用で、少数の変更を選びやすくする。

ここで保護しているのは、練習問題から集めたトークンに対する層出力である。一般的な言語能力の維持を直接測っているわけではない。またdoseも正答率ではなく、編集の狙いを表す代理指標だ。0.8Bでは先行エージェント編集の1.6倍を目標としたため、同じ強さの編集同士を比べた実験ではない。

計算には未編集モデルから集めた統計を固定して使う。前の層を編集すると後の層の入力も変わり得るが、その変化を再測定して追う目的関数ではない。この近似が、編集後の実際の振る舞いにも通用するかを、最終的な生成評価で確かめる構成だ。

多数の編集候補を二値の選択に変える

編集対象の候補として上位512列を選び、各重みについて許容された倍率のうち一つを事前に選ぶ。その後の選択は、その変更を採用するか、元の重みを残すかの二択となる。変更の効果は組み合わせにも左右されるため、各選択と選択同士の相互作用を含むQUBOという二値最適化問題にする。これは変数の表し方を変えるとIsing形式になる。

候補列と各重みの単一の変更を固定すると、代理目的は出力行ごとの独立した問題へ厳密に分解できる。0.8Bの2層では、512変数の問題が計2,048個になる。ただし「厳密」といえるのはこの分解であり、候補選択や探索まで最適性が保証されるわけではない。

著者らはGPU上で二つの探索法を使った。焼きなましは温度を下げながら候補を探す方法で、もう一つはシミュレーテッド分岐という代替ソルバーだ。論文の全モデル精度は、これら古典GPUソルバーで得た編集による。Ising形式を使うこと自体が、量子計算の利用を意味するわけではない。

同じ生成条件で、何を比較したか

0.8Bの主比較は、同じエージェント編集チェックポイントに対し、同じ乱数seedと評価ハーネスを使う。思考を有効にし、温度0.6、top-p 0.95、top-k 20、presence penalty 1.5、最大32,768新規トークンで生成する。最終回答の指定形式から答えを取り出し、Math-Verifyで自動採点した。

MATH-500@4の「@4」は、各問題4生成の平均正答率を指す。複数回のうち一度でも正解すればよい指標とは異なる。数学5ベンチマークで評価し、2ソルバーと6設定の計12比較には、偶然の有意差を抑えるBonferroni補正を使った。

一方、各ベンチマークの生成seedは一つで、人手採点との一致検証は供給資料にない。MATH-500の100問は開発で使用済みなので、全500問を完全な未使用評価として扱うこともできない。連続的に重みを変える方法などの追加比較は、保留練習128問に限られる。

3. 結果と限界

改善は見えるが、ソルバーの優劣は決まらない

著者らによると、0.8BのMATH-500@4は、エージェント編集51.7%に対し、焼きなまし54.6%、分岐55.1%だった。差はそれぞれ2.9、3.4パーセントポイントである。GSM8K@1も65.6%から70.5%、70.8%へ上がり、この四つの比較は多重比較補正後も有意だった。

残るAMC23、Minerva、OlympiadBenchでも両ソルバーの正答率の点推定はエージェントを上回ったが、差の多くは補正後に有意ではない。全5ベンチマークで生成上限による打ち切り率は下がり、MATH-500@4では31.6%から両方式とも23.9%になった。

開発未使用のMATH-500残り400問でも、エージェント50.8%に対し、焼きなまし53.8%、分岐53.6%と改善が残った。一方、全500問での両ソルバー間の差は統計的に識別されず、分岐の上積みは開発に使った100問に由来した。なお、基本モデルの7.9%という値は先行研究の報告で、著者らが同じハーネスで再測定した値ではない。

効いたのは離散化か、終了を促す設計か

構成要素を外して確かめた実験では、終了方向の重要性が見える。保留練習128問・各1生成で、既定設定の正答率57.0%、打ち切り率22.7%に対し、終了方向を外すと43.8%、53.1%だった。反復を弱めることに加え、終了へ向かう変化を明示的に入れる設計を支持する結果である。

ただし、離散編集だけが精度改善の方法とはいえない。同じ方向とdoseを使う連続ランク1編集、つまり二つのベクトルで表す重み更新も、この128問では正答率57.8%、打ち切り率12.5%を得た。Tree-Isingの特徴は、直接重みに適用した際の変更範囲が小さい点にある。連続解は7.02百万重み、約96%を書き換えたのに対し、Tree-Isingは112,630重みだった。

この画面の正答率標準誤差は約4.4ポイントで、細かな設定差を判定するには粗い。連続解の全ベンチマーク評価もない。また、連続更新を別置きのアダプターにすれば記述量の比較は変わる。変更重み数の少なさから、あらゆる意味で小さく効率的な修正だと結論づけることはできない。

編集量と費用は、比較の範囲を読む

0.8Bで焼きなましが変更した重みは112,630個で、エージェントの130,188個より少ない。BF16のビット反転数も621,388から278,767へ減った。共有指数と仮数の変更がゼロであることは、許容した移動の制約による。これらの集計は既存の例外表現の内部変更を除いている。

固定レシピ1回の適用は、順伝播要求4件、LLMトークン0、計30.6分で、GPU費用は約0.90ドルと報告された。先行エージェントの発見実行は50要求、89.7百万トークン、約312ドルだった。しかし、これは新たな修正を見つける工程と、できあがったレシピを適用する工程の比較である。双方の手法開発費は含まず、一律の開発費削減率には読み替えられない。

量子実機での実験は、別途較正した8変数の小問題に限られる。その解はモデルへ反映されていない。モデル精度の改善や量子優位を示す結果ではなく、現行工程ではソルバー時間をゼロにしても最大加速は約1.40倍にとどまる。

2Bへの転用と、元の正解を失う問題

2Bでは参照編集を使わず、基本モデル自身の統計から設定した標準レシピを試した。GSM8K全1,319問、各段階で最も確率の高い出力を選ぶgreedy生成、思考有効、8,192トークン上限で、正答率は21.6%から69.4%へ47.8ポイント上昇した。打ち切り率も77.9%から26.7%へ下がった。

改善の一方で、編集後だけ正解した問題が669問、基本モデルだけ正解した問題が38問あった。正答率全体が上がっても、個々の問題で能力を失う場合はある。またgreedy設定とGSM8Kの選択は、基本モデルが特に失敗したテスト200問の予備調査に基づく。推奨sampling設定やMATH-500での2B評価はない。

適用範囲は、同じモデル系列の2モデルと数学の推論ループに限られる。指示追従、一般言語能力、非数学タスクへの副作用は未測定だ。両モデルで同じ層が選ばれた点も、層選択規則が0.8Bの観察後に定められ、構成を共有することを踏まえる必要がある。次に見たい証拠は、別系列と未使用タスクで、終了改善と能力の保護が両立するかである。

この研究から考える

ここからは、論文の結果を踏まえた編集上の考察です。

終了方向を外すと打ち切りが増えたという結果は、ループ修正の評価で「反復を減らす」と「適切に終了させる」を分けて確かめる価値を示す。修正を選ぶ際も、正答率の上昇だけでなく、終了動作と既存の正解の保持を判断材料にできる。ただし、根拠は小型の同一系列モデルと固定統計に基づく実験である。保護項が守る範囲を超えた未使用問題や無関係タスクでも劣化を測るまでは、一般的な修正規則として扱うべきではない。

ホーム画面に追加する

  1. Safariでこのページを開く
  2. ページメニューから「共有」をタップ
  3. 「ホーム画面に追加」を選択
  4. 「Webアプリとして開く」をオンにして「追加」をタップ

追加後は、ホーム画面のアイコンからSingularity Lensを開けます。