AutoSFT：実行・分析・合成を分担し、SFTの訓練データ改善を自動化する

SFT（教師あり微調整）は、指示と望ましい回答の組を使う追加訓練だ。AutoSFTが扱うのは、その訓練データをどう改善するかという研究作業である。モデルや訓練器を変更するのではなく、候補データから何を選び、何を直し、どの不足を新しい例で補うかを探索する。

例えば、業務用AIに複数の指示を守らせたい場面を考える。訓練後に指示違反が残ったとしても、関連カテゴリの例を増やすだけが対応ではない。既存例の不備を直す、回答を置き換える、不足する条件の例を作るという選択もある。これは仕組みを理解するための例であり、論文が実際の業務サービスで効果を確かめたという意味ではない。

論文は、従来の自動化を、固定された候補群からの選択か、データ生成の一方を主に制御するものとして整理する。研究の問いは、エージェントがデータ改善の幅広い操作を使えるか、使うためにどのような役割分担が必要かにある。

比較対象の単一エージェントは、データ分析、使うデータの指定、訓練と評価の実行、ログの解釈までを一つのセッションで担当した。著者の初期実験では、10Mトークン上限、3エポック、つまりデータを3巡する訓練で33ラウンドを提出し、32ラウンドを評価したが、変更はすべてカテゴリの配合操作だった。最高値は第9ラウンドで、その後の23ラウンドでは更新できなかった。

同時に、大量の実行出力がコンテキストを圧迫した。コンテキストとは、エージェントが判断時に参照する会話や作業記録である。その容量に収めるために記録が圧縮されれば、探索途中の情報を保つことが難しくなる。

ただし、配合への偏りとコンテキスト圧迫が同時に見られたからといって、後者がスコア停滞の原因だと確定したわけではない。AutoSFTは、この観察を出発点として、実行の分離、分析の追加、合成の追加を段階的に調べる。

探索の単位は「データレシピ」だ。これは、各訓練例をどの程度使うかを指定するもので、例ごとの標本化重みを含む。重みをゼロにすれば、その例を除外できる。新しく作った例は候補プールに追加できる。

各ラウンドでは、前回の訓練済みモデルをさらに育てるのではなく、同じ基盤モデルから訓練し直す。比較内では基盤、訓練器、評価方法、データ予算を固定する。そのため、前ラウンドから引き継いだモデルの変化と、今回のデータ変更を混同しにくい。

著者はデータ操作を、配合、削除、修復、回答のみの置換、新規合成、順序変更の六つに分類した。ただし、この一覧をエージェントの選択肢として提示したのではない。実行後のレシピ差分から分類している。操作の種類が増えたかどうか自体が、評価する対象の一つなのである。

AutoSFTでは、次のレシピを決めるメタエージェントから、訓練や評価を動かす実行担当を切り離す。生ログは実行担当側に置き、判断側には成果物と構造化した報告の所在を返す。狙いは、実験を動かすための出力が、データをどう変えるかという判断の場を埋め尽くさないようにすることだ。

分析担当は四つある。訓練データ、成功・失敗例、学習の経過、過去の研究履歴を、それぞれ別の出発点として読む。各担当は証拠付きで実行可能な変更案を一つ、共通形式で提出する。共有データやレシピを直接編集する権限はなく、採否はメタエージェントが決める。

先ほどの指示違反の例なら、配合の不足を疑う視点と、既存例の不備を疑う視点を、同じラウンドに持ち込める構造だ。ただし、複数の提案が一致すれば正しいという仕組みではない。変更後に再訓練し、評価で確かめる必要がある。

履歴には、スコアだけでなく、訓練前の仮説、比較対象、期待する変化、結果の判定、不採用案も残す。事前仮説のない訓練投入は認めず、既存記録も後から書き換えない。平均点が上がったかと、狙った失敗が減ったかを分けて判断する設計である。

合成担当は、評価で弱い能力と、候補プールにある訓練例の量を照合する。能力は既存の制約分類や失敗例から整理し、細かな能力ごとにプログラムで判定できる要件と検証器を対応させる。候補データにも能力のラベルを付ける。

これにより、単に点が低いから生成するのではなく、その能力や制約の組合せに対応する例が足りないかを調べる。実験では十分量の目安を1,000行とし、不足目標がなければ生成しない。生成した例を訓練に採用するかは、ここでもメタエージェントが決める。

合成では必要量を上回る候補を作り、制約のプログラム検証、意味が適切かを確かめるモデルレビュー、生成に参加しない担当による抜き取り確認を行う。評価集合とのn-gram重複検査、つまり連続する語句の重なりを調べる検査も通す。生成、検証、レビュー、修正を少なくとも一巡させる。

この検証には境界がある。形式的な制約を満たすことと、意味まで適切であることは同じではない。後者にはモデル判定と抜き取りが含まれる。重複検査も、評価に合わせすぎる過適合を全面的に排除する保証ではない。

共通の基盤モデルはQwen3-1.7B-Baseで、訓練器はMegatron-LMを使う。研究エージェントはGPT-5.5、生成とレビューにはDeepSeek V4 Flashを用いた。ここで報告される結果は、いずれも著者による実験結果である。

分析追加の比較は、指示追従データargilla/ifeval-like-dataを使い、各回3Mトークン上限、3エポックで実施した。指示に従えるかを測るIFEvalについて、同じ訓練済みモデルを確率的に10回評価した平均、avg@10を用いる。同じ時間予算で単一担当は50回、分析追加は30回を完了したため、同じ30回までの比較と、単一担当50回全体との比較を分けている。

合成の比較は同じ初期プールから始めるが、生成行を含めて100Mトークン上限とし、IFEvalと、もう一つの指示追従評価IFBenchをavg@10で測る。固定プールから選択・編集する比較対象に対し、合成を加えた効果を調べた。分析比較とは予算が異なるため、両方の改善幅を足してAutoSFT全体の利得にはできない。

なお、avg@10は回答の確率的な揺れを平均する指標である。データ探索を最初から10回やり直した結果ではない。各構成の探索は1回なので、別の探索でも同じ改善が起きるかは、この平均から判断できない。

実行担当を分離した比較では、同一基盤、同一コンテキスト窓などの条件をそろえ、11.5時間時点を調べた。著者によると、判断側のコンテキスト圧縮は10回から5回へ減り、記録イベントに占めるシェルコマンドの比率も58%から29%になった。判断側から実行作業を減らせた証拠だが、それだけでスコア向上の原因を立証したものではない。

分析追加のIFEval最高値は67.10だった。単一担当は最初の30回で60.60、50回全体では62.35である。同じ30回なら6.50ポイント、単一担当の全探索と比べても4.75ポイント高い。いずれも相対的な増加率ではなく、スコアの差だ。

分析追加では削除、修復、回答置換にも操作が広がり、修復と回答置換が操作の55%を占めた。ただし、指示・回答修復は14回中6回で最高値を更新した一方、回答のみの置換は3回中ゼロだった。一つのラウンドに複数操作を数える集計なので、操作別の因果効果を示す数字ではない。また、この分析比較の両構成は目標未達で、新規合成と訓練順序の変更も行っていない。

100Mトークン条件の合成比較では、IFEvalの探索内最高値は合成ありが81.58、比較対象が78.15で、差は3.43ポイントだった。IFBenchは51.95対49.02で、2.93ポイント差である。IFEvalでは、合成ありの第9ラウンド以降のすべてのチェックポイントが、比較対象31回全体の最高値を超えた。

能力別に見ると一様ではない。設問全体で必要条件を厳密に満たす割合、whole-question strict pass rateでは、指示の繰り返しに関するrepeat_promptが、最初の8回の約40%から合成バッチ投入時の第9ラウンドに75.6%へ上がった。一方、音節数の奇偶制約odd_even_syllablesは、3ラウンドで合成を試しても全ラウンド0%だった。

この差は、不足例を補えば伸びる能力と、追加データでもまだ学べない能力を分ける必要を示唆する。ただし、個別バッチの独立した対照実験ではない。一部能力では合成ありが低く、設問が10問未満の能力差は小標本の揺れを受けやすい。厳密な制約の組合せは評価上で最大1問しかなく、組合せそのものの効果を直接測れず、集約した能力で比較している。

コード生成でも同じ探索構造を試した。データはOPC-SFT-Stage2、KodCode-v1-SFT-R1、Magicoder-OSS-Instruct-75K由来のPythonの指示・コード742,842対で、各回100Mトークン、3エポックとした。コード生成評価MBPP+を同じモデルで3回測るavg@3で、分析追加は第13ラウンドに64.8%、分析・合成追加は第6ラウンドまでに65.8%へ達した。単一担当は持続的改善を示さず、要旨は分析追加の差を3.7ポイントと報告している。

ただし、64時間で単一担当と分析追加は各15回、分析・合成追加は6回を完了した。合成は1回の所要時間を増やす。少ないラウンドで近い水準に届いたことを、そのまま時間短縮や費用削減とは読めない。コード生成も一つの追加領域での短い探索であり、広い領域への一般化は未確立だ。

適用を考えやすいのは、同じ基盤から繰り返しSFTを行え、失敗例や履歴を保存し、不足能力を検証可能な条件として記述できる環境である。反対に、評価例が乏しい課題では、何を合成すべきかも、その効果も判断しにくい。全結果が一つの基盤モデルと各構成1回の探索に限られる以上、次に見るべき証拠は、独立した探索での再現、別モデルでの比較、そして合成対象を十分な設問で測る評価である。