s1：単純なテスト時スケーリング（思考トークン強制による軽量推論革命）

AIにじっくり考えさせる技術（推論時スケーリング）はメガテックの専売特許と思われていました。スタンフォード大の研究者らは、たった1,000件の良質なデータと超シンプルな仕組みだけで同等の推論力が出せることを示し、高価な研究予算のない開発者たちに希望を与えました。

厳選した1,000問の高品質な思考プロセスで基本を教え込み、AIが早く答えを出そうとしたら『<wait>（待て）』という言葉を割り込ませて強制的に思考を続けさせます。

・わずか1,000件の厳選データ（s1K）による最小構成の推論モデル構築

著者は、次の共通テストや課題で結果を報告しています。

・超難関数学オリンピック問題（AIME 2024）で、正解率が15.6%から26.7%へと大幅に跳ね上がった

・MATH共通テスト（ベンチマーク）において、何万件ものデータで強化学習された先行モデルと同等の成績を記録

・無理やり思考を引き延ばすと、同じ考えを何度もぐるぐるループして答えが変わらないことがある

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。この結果は、学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。ただし、対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません

o1の登場以降、推論時スケーリングの獲得には数百万ドルの費用と高度な強化学習基盤（RL）が不可欠であると信じられていました。s1は『思考トレースの模倣学習（SFT）』と『推論の強制延長（<wait>文章を分けた単位（トークン）注入）』というシンプルな手法だけでスケーリング則が発現することを暴き、推論AIの参入障壁を破壊しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

o1の登場以降、推論時スケーリングの獲得には数百万ドルの費用と高度な強化学習基盤（RL）が不可欠であると信じられていました。s1は『思考トレースの模倣学習（SFT）』と『推論の強制延長（<wait>トークン注入）』というシンプルな手法だけでスケーリング則が発現することを暴き、推論AIの参入障壁を破壊しました。

・超小規模データ（1kサンプル）による推論時スケーリング能力の獲得実証

・思考終了トークンを抑制して思考長を外部から自在にコントロールするBudget Forcing技術

2つの核からなります。①データ選定：難関数学・コード問題から質の高い思考ステップを持つ1,000件（s1K）を厳選してSFTを実施。②推論制御（Budget Forcing）：モデルが解答トークン（例: 結論ブロック）を出力しようとした際、それを抑制して <wait> トークンを強制挿入します。これによりモデルは『あ、まだ考えが足りないんだ』と解釈し、別のアプローチや自己検証を自発的に開始します。

著者は、次の共通テストや課題で結果を報告しています。

・全米数学オリンピック（AIME 2024）において、ベースモデル（Qwen2.5-32B）の精度を15.6%から26.7%へ引き上げ、テスト時スケーリングでさらに向上

・MATH-500において、強化学習を用いた競合オープン推論モデルと互角の精度を達成

著者は、次の共通テストや課題で結果を報告しています。

・思考トークン数の増加に伴い、正解率が滑らかに対数線形（Scaling Law）に従って上昇することを確認

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・学習コストわずか50ドル未満（26分間の8xH100学習）という再現性

・思考トークンを伸ばしすぎると、同じ推論ステップの堂々巡り（Degeneration）に陥り精度が飽和する

・ベースとなる言語モデル（Qwen2.5-32B等）の基礎知識に依存し、モデルが元々知らない知識は推論を引き延ばしても出ない

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。同じ傾向が対象の課題でも確認できるなら、学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。判断の前に、対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません

OpenAI o1の発表以降、産業界では『強化学習（RL）によってのみ思考スケーリングが可能になる』という神話が形成されていました。s1はその前提に真っ向から挑戦し、模倣学習（SFT）と推論時のデコーディング介入（Inference-time intervention）というミニマルな組み合わせだけで、思考長と精度のスケーリング則を美しく再現して世界を驚かせました。

o1の登場以降、推論時スケーリングの獲得には数百万ドルの費用と高度な強化学習基盤（RL）が不可欠であると信じられていました。s1は『思考トレースの模倣学習（SFT）』と『推論の強制延長（<wait>トークン注入）』というシンプルな手法だけでスケーリング則が発現することを暴き、推論AIの参入障壁を破壊しました。

提案の流れは次の要素から成ります。

・超高密度データ1,000件（s1K）のみによる推論能力の蒸留と活性化

・デコーディング時のロジットマスキングとプロンプト注入による強制思考スケーリング（Budget Forcing）

この手法は、答えを出す途中の長さを予算として管理します。短すぎるときは考え続ける合図を加え、上限に近づいたら結論へ進む合図を加えることで、推論に使う量を調整します。

この章では、この設計が各情報をどう結び付けるかに注目します。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

評価時に許す推論の長さは結果と計算費用の両方を変えます。そのため、モデル名や問題集だけでなく、回答ごとの上限と合図の入れ方をそろえた比較が必要です。

著者は、次の共通テストや課題で結果を報告しています。 データセット、指標、比較対象をそろえて読む必要があります。

・AIME 2024共通テスト（ベンチマーク）において、ベースのQwen2.5-32B（15.6%）からs1-32Bは26.7%へ急伸し、Budget Forcingによりさらにスコアを向上

・MATH-500において、数万件規模のRLHFモデルと同等水準の80%超の正解率を記録

著者は、次の共通テストや課題で結果を報告しています。

・訓練費用わずか20〜30ドル程度で再現可能であることを示し、研究コミュニティに爆発的な追試ブームを巻き起こした

・Majority Voting（多数決サンプリング）と比較して、単一推論パスの延長がトークン効率の高い解法であることを実証

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

成績の改善は、考える量を増やした効果だけでなく、選び抜いた1,000件の学習例や元のモデルの能力にも左右されます。また、長い推論が正しい推論を意味するとは限りません。学習例、合図による長さの制御、単純に複数回答を作る方法を分けて比べる必要があります。

・反復的自己欺瞞：思考を引き延ばす過程で、間違った前提を自ら正しいと再確認してしまい誤答を固定化するリスク

・思考の質の飽和：一定のトークン数を超えると新しい洞察が出なくなり、同じ計算の検証を延々と繰り返す過剰思考（Over-thinking）現象

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・反復的自己欺瞞：思考を引き延ばす過程で、間違った前提を自ら正しいと再確認してしまい誤答を固定化するリスク

・思考の質の飽和：一定のトークン数を超えると新しい洞察が出なくなり、同じ計算の検証を延々と繰り返す過剰思考（Over-thinking）現象

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。ここから得られる示唆には追加検証が必要です。学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。一方で、対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません。次に見るべき証拠は、条件を変えた追試と失敗例です。

大規模強化学習（RL）を排し、データ選定と推論時トークン予算制御のみでo1スタイルの思考スケーリング則を低コスト（訓練26分）に再現しました。

1,000件の厳選難問思考データでQwen2.5-32BをSFT。推論時に終了トークンを抑制して <wait> トークンを挿入し、思考長を目標予算まで強制伸長させます。

・1kサンプルという極小高品質データセットによる推論能力の活性化

著者報告の結果は次の評価条件に基づきます。

・AIME 2024でベースの15.6%から26.7%へ向上し、推論延長によりさらにゲインを獲得

・MATH-500で80%を超える高精度を達成

・過剰思考（Over-thinking）による推論の退行と同一思考ループの発生

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。したがって、対象条件が近い場合は、学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。ただし、対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません

推論モデルの開発には数千時間のRL訓練が必要という通説を覆し、良質な思考トレースの模倣と推論時介入のみで同様の計算スケーリング挙動が得られることを示しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

推論モデルの開発には数千時間のRL訓練が必要という通説を覆し、良質な思考トレースの模倣と推論時介入のみで同様の計算スケーリング挙動が得られることを示しました。

・最小データ主義（Data Minimalism）による推論思考スタイルの確立

・ロジット介入による思考ステップ長の動的外部コントロール機構

パイプライン：①s1K構築：多様なドメインの難問に対し、高品質フロンティアモデルから推論トレースを抽出し、解法の一貫性と長さでフィルタした1,000サンプル。②訓練：Qwen2.5-32B-Instructに対し、LR $4 \times 10^{-6}$、シーケンス長16k、16エポックでSFTを実施。③Budget Forcing：デコーディング中に終了トークン $EOT$ のロジットを $-\infty$ に固定し、プロンプト末尾に Wait, を注入してモデルの再検討を強制。目標トークン数（例: 2k, 4k, 8k）に到達した段階で介入を解除します。

著者報告の結果は次の評価条件に基づきます。

・AIME 2024において、ベースモデル比で+11.1ポイント（15.6% → 26.7%）の大幅改善を達成

・MATH-500において80.4%を記録し、大規模RLアプローチ（QwQ-32B-Preview等）と同等の精度を発揮

著者報告の結果は次の評価条件に基づきます。

・思考トークン数の増加に対して正解率が対数線形にスケールする挙動を実証

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・多数決サンプリング（Parallel Scaling）に対する逐次思考伸長（Sequential Scaling）のトークン効率性の実証

・過剰な延長時に発生する同語反復やループ現象への耐性欠如

・探索ツリーの体系的な枝刈り（MCTS等）を伴わない純粋な線形トークン伸長

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。この観察が自分のデータと計算条件でも保たれるなら、学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありませんので、同じbaselineとmetricでの比較が前提です。

OpenAI o1以降の最重要研究テーマであるTest-Time Compute Allocationにおいて、強化学習（RL）と教師あり微調整（SFT）の寄与度を峻別し、最小限の計算リソースでスケーリング則を再現可能にした学術的ブレイクスルーです。

推論モデルの開発には数千時間のRL訓練が必要という通説を覆し、良質な思考トレースの模倣と推論時介入のみで同様の計算スケーリング挙動が得られることを示しました。

提案の流れは次の要素から成ります。

・SFTのみで思考トレース内の『自己修正パターン（Self-correction loops）』を内在化させる手法

・Budget Forcingによるデコーディング時トークン予算の連続的制御

数理・アルゴリズム：①データキュレーション：ソース問題集合 $\mathcal{Q}$ に対し、解候補 $\mathcal{Y} \sim \pi_{teacher}(\cdot | q)$ を収集。検証器 $\mathcal{V}(q, y) = 1$ かつ思考長 $|y_{thought}| > L_{min}$ を満たすものから難易度・多様性スコアでTop-1000（s1K）を選定。②SFT最適化：目的関数 $\mathcal{L}_{SFT}(\theta) = -\sum_{(x,y) \in \mathcal{D}_{s1K}} \sum_{t=1}^{|y|} \log \pi_\theta(y_t | x, y_{<t})$。③Budget Forcing定式化：サンプリングステップ $t$ において、出力ロジットベクトル $z_t \in \mathbb{R}^{|\mathcal{V}|}$。現在長 $t < B_{target}$ の場合、$z_t[\text{eos}] = -\infty$、および文脈へ特定フレーズ $w = \text{"Wait, let me double check..."}$ を強制アペンド。$t \ge B_{target}$ となった時点で制約を解除し通常の自己回帰サンプリングに復帰。スケーリング比較：同一トークン予算（Token Budget $C$）の下で、単一チェーンの伸長（Sequential: $1 \times C$）と複数チェーンの多数決（Parallel: $N \times \frac{C}{N}$）のパレート効率を検証。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

著者報告の結果は次の評価条件に基づきます。 データセット、指標、比較対象をそろえて読む必要があります。

・AIME 2024: Base 15.6% → s1-32B 26.7% → Budget Forcing (8k tokens) 30.0%超へのスケーリング

・GPQA Diamond: 高難度専門知識問題においてベースモデルに対して有意な正解率向上を記録

著者報告の結果は次の評価条件に基づきます。

・トークン効率：同一トークン予算において、短小サンプルの多数決よりもBudget Forcingによる深い思考の方が高難度問題において高い正解率を達成

・訓練時間：8基のH100 GPUを用いてわずか26分で全エポック学習を完了

・小規模コンピュート予算（単一8xH100ノードで30分未満）における推論創発の詳細な再現性

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・推論ループ現象（Reasoning Loops）：予算が大きすぎる場合（16kトークン超）、同一の数式展開を表現を変えて延々と繰り返す局所解トラップ

・ベースモデルの指示追従性への依存：基本性能の低い小型モデル（7B以下）ではBudget Forcingの介入が文脈崩壊を招くリスク

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・推論ループ現象（Reasoning Loops）：予算が大きすぎる場合（16kトークン超）、同一の数式展開を表現を変えて延々と繰り返す局所解トラップ

・ベースモデルの指示追従性への依存：基本性能の低い小型モデル（7B以下）ではBudget Forcingの介入が文脈崩壊を招くリスク

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。結果から得られる示唆は次の通りです。学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。ただし、この観察だけで因果関係までは確定できません。対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません。再現実験では条件を固定し、分布外データと失敗率を併記すべきです。

大規模強化学習を介さず、最小限の教師あり学習と推論時トークン予算制御のみでo1スタイルの推論スケーリング則を達成可能であることを示しました。

厳選された1kデータ（s1K）でQwen2.5-32BをSFTし、推論時に終了トークンを抑制して思考を強制延長させるBudget Forcingを適用しました。

・極小データ（1,000例）によるテスト時推論スケーリング能力の獲得

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・AIME 2024において15.6%から26.7%への大幅な正解率向上

・MATH-500においてRLアプローチと同等の80%超を記録

・思考過多によるループや局所解トラップの発生

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。この結果から得られる示唆は次の通りです。学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。ただし、対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません

推論時スケーリングの達成には複雑な強化学習が不可欠であるという定説に対し、良質な思考トレースのSFTと推論時介入のみで十分であることを示しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

推論時スケーリングの達成には複雑な強化学習が不可欠であるという定説に対し、良質な思考トレースのSFTと推論時介入のみで十分であることを示しました。

・データミニマリズムに基づく思考トレース模倣学習フレームワーク

・終了トークンマスキングとプロンプト注入による推論時計算量（Test-time compute）の直接的変調

システム設計：多様なソースから抽出した推論トレースを品質・長さ・難易度で選別した1,000例（s1K）。Qwen2.5-32B-Instructを16エポックSFT。推論時は終了トークンのロジットをマスクし、Wait プレフィックスを注入することで思考予算 $B$ までモデルに自己検証と別解探索を継続させます。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・AIME 2024でベースラインから11.1ポイント向上し26.7%を達成

・MATH-500において80.4%を記録し、オープン推論モデルの最前線に到達

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・思考トークン長のスケーリングに伴い、正解率が対数線形に単調増加することを実証

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・Sequential Scaling（単一深い思考）とParallel Scaling（多数決）の体系的比較

・一定の思考長を超えた段階での収穫逓減と過剰思考（Over-thinking）現象

・自己修正が常に正しい結論へ収束するとは限らない確率的リスク

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。このevidenceが同一protocolで再現される範囲では、学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。ただし、対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません。reported setting外への一般化には追加評価が要ります。

思考型AIにおける『知能の創発』が、RL特有の報酬探索のみならず、言語的推論トレースの密度と推論時トークン生成長（Test-time compute）に本質的に依存していることを解明した理論的画期です。

推論時スケーリングの達成には複雑な強化学習が不可欠であるという定説に対し、良質な思考トレースのSFTと推論時介入のみで十分であることを示しました。

提案の流れは次の要素から成ります。

・SFTによる自己反省・検証思考パターン（"Wait, let me rethink..."）の獲得と内在化

・推論時の外部強制トークン割り当て（Budget Forcing）のアルゴリズム的確立

定式化：問題 $x$、解答 $y$ に対し、中間思考系列 $z = (z_1, \dots, z_K)$。データセット $\mathcal{D}_{s1K} = \{(x_i, z_i, y_i)\}_{i=1}^{1000}$。モデル最適化：$\min_\theta \mathcal{L}_{SFT}(\theta) = -\sum \log \pi_\theta(z, y | x)$。Budget Forcing操作：デコードステップ $t$ において、モデル予測分布 $P(w) = \text{Softmax}(z_t)$ に対し、マスク演算 $\tilde{z}_t[\text{EOS}] = -\infty$（$t < B$）。さらに状態 $h_t$ にプロンプト系列 $w_{\text{wait}}$ を連結して推論を再駆動。思考予算 $B$ を $1k \to 2k \to 4k \to 8k$ と拡大させた際の性能推移を計測。比較実験：Majority Voting（$N$ 回サンプリングの投票）とBudget Forcing（単一思考の深化）を同一総計算量 $N \times L = B$ で等価比較。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。 データセット、指標、比較対象をそろえて読む必要があります。

・AIME 2024: Base 15.6%, s1-32B (greedy) 26.7%, s1-32B (Budget Forcing 8k) 30.0%超

・MATH-500: 80.4%（ベースの74.6%から大幅向上、QwQ-32B-Previewと同水準）

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・計算コスト実証：8xH100で26分（GPUコスト約20ドル）で学習完遂

・思考長スケーリング：思考トークン数が2倍になるごとに、高難度問題群のエラー率が指数的に低減する相関関係を実証

・難関推論問題における単一深度探索（Sequential）の並列探索（Parallel）に対する統計的優位性の実証

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・推論ループの退行：難易度がモデルのキャパシティを大幅に超える問題では、思考を延長しても堂々巡りを繰り返す現象

・検証器（Verifier）なしの開ループ制御：外部の実行環境や検証器を持たないため、誤った推論を真実と思い込む確証バイアス

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・推論ループの退行：難易度がモデルのキャパシティを大幅に超える問題では、思考を延長しても堂々巡りを繰り返す現象

・検証器（Verifier）なしの開ループ制御：外部の実行環境や検証器を持たないため、誤った推論を真実と思い込む確証バイアス

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

s1は1,000件の学習例とbudget forcingで数学ベンチマークの改善を報告しました。この観測から得られる示唆は次の通りです。学習規模だけでなく、回答時に使う計算量の配分も性能設計の変数になり得ます。ただし、代替要因は残ります。対象は主に数学課題で、反復的な長文推論が正しさを保証するわけではありません。確認すべきなのは、同一条件での再現、ablation、distribution shift下の結果です。