s1：単純なテスト時スケーリング（思考トークン強制による軽量推論革命）

大規模言語モデル（LLM）の能力向上といえば、従来は学習段階にどれだけ計算資源を注ぐかが議論の中心でした。事前学習データの量やモデル自体のパラメータ規模を拡大することが、性能向上の主要な手段だったからです。しかし2024年後半から2025年にかけて、「推論時計算量（テスト時計算量）のスケーリング」という新たな軸が注目を集めました。これは、学習完了後のモデルが質問に答える際、すぐに結論を出さずに思考過程（思考トークン）を長く生成することで正解率を高めるアプローチです。ビジネスにたとえるなら、複雑な事業投資の採算分析を頼まれたアナリストが、最初の試算値を即座に提出するのではなく、計算用紙で再点検を重ねてから清書を提出するような状況です。同じ能力を持つ担当者でも、提出前の検討手順を増やすことで計算ミスを減らせるのではないかという着想に基づいています。

この思考時間の重要性を示した先行例がOpenAIのo1でした。難関の数学や論理推論ベンチマークにおいて、思考時間を増やすほど正解率が向上することが示され、開発競争は新たな局面を迎えました。しかし、当時の研究コミュニティには高い障壁がありました。o1のような思考を実現するには、莫大な計算資源を用いた強化学習（RL）パイプラインや、何百万件もの大規模な合成推論データセット、推論の良し悪しを判定する複雑な報酬設計が不可欠であると信じられていたためです。強化学習とは、試行錯誤の結果に報酬を与えて望ましい推論手順を学習させる手法ですが、その構築や計算コストは巨大テック企業以外の研究者にとって重い負担でした。そのため、推論時に思考を深めさせる具体的な仕組みは不透明な領域にとどまり、技術的な選択肢が限られていたのです。

こうした状況下で提起されたのが、「思考時間を延ばして推論精度を上げるために、本当に複雑な強化学習や膨大なデータが必須なのか」という疑問でした。先ほどのアナリストの例で言えば、検算を行わせるために巨額の費用をかけて新たな社内研修を長期間受けさせなければならないのか、それとも報告書を提出しようとした瞬間に「待った、もう一度確認して」と声をかけるだけで、すでに備わっている分析能力を引き出せるのか、という対比です。もし後者で推論の深化が起きるなら、モデル運用の前提は大きく変わります。ただし、この比喩が研究と一致しなくなる境界線もあります。人間のアナリストは検算時に社外データベースを検索したり他部署に未確認の事実を問い合わせたりできますが、言語モデルに与えられるのはテキストを生成し続ける余地だけであり、元々持たない知識を思考延長で獲得することはできません。

Niklas Muennighoff氏とLuke Zettlemoyer氏らが提案した「s1」の核心は、推論時のスケーリングに必要な要素を極限まで削ぎ落とし、わずか1,000件の高品質データと単純な推論時制御だけで成立させた点にあります。著者らはまず、推論プロセスをモデルに学ばせる教師あり微調整（SFT）データセット「s1K」を構築しました。教師あり微調整とは、問題とそれに対する理想的な推論過程および最終解答を見本として提示し、追加学習させる手法です。特筆すべきは、何十万件ものデータを集めたのではなく、難易度、推論品質、多様性を考慮して厳選した1,000件のみで構成した点です。この見本を通じて、オープンモデルのQwen2.5-32B-Instructに対し、「結論を急がず、段階的に検算や別解の検討を行いながら思考を進める」という振る舞いの型を身につけさせ、s1-32Bを構築しました。

s1のもう一つの決定的な技術が、推論時に適用される「budget forcing（予算強制）」というアルゴリズムです。言語モデルは回答を生成する際、思考過程の終了を示す区切り記号を出力しようとします。budget forcingでは、あらかじめ設定した「思考トークン予算」に達していない場合、モデルが思考終了記号を出力するのをシステム側で強制的に抑制します。そして文脈の末尾に「Wait（待った）」という単語を一つだけ挿入して生成を再開させます。するとモデルは、それまでの計算結果を再点検したり別解を検討したりと自己点検を始めます。指定した予算上限に達した際には思考を打ち切らせて最終解答の出力へ移行させます。数式や複雑なプログラムではなく、終了記号の抑止と「Wait」という合図だけで、推論の長さを外部から自在に制御する仕組みを実現しました。

この手法が先行アプローチと異なるのは、自律的な反省能力を強化学習で一から獲得させたのではなく、事前学習済みモデルが潜在的に保持していた知識と論理展開能力を、回答時のトークン配分によって引き出した点です。アナリストの例で言えば、提出された試算表の内容を細かく採点して報酬を与える複雑な評価制度（強化学習）を組む代わりに、席を立とうとした瞬間に「待った、別の角度からも検算したか」と声をかけるだけの介入です。この介入により、モデルは思考領域の中で前の出力を読み返し、符号の誤りや見落としに自ら気づいて修正する挙動を示します。ただし、人間なら具体的な指示を理解できますが、budget forcingが与えるのは「Wait」の文字列と終了記号の抑制だけであり、正誤の判定や指摘は一切与えられず、次の単語予測の連鎖によってのみ自己点検が継続されます。

著者らは手法の有効性を検証するため、難関の米国招待数学試験AIME 2024やMATH-500、国際数学オリンピックレベルの競技数学ベンチマークを用いた実験を行いました。ベースモデルに320億パラメータのQwen2.5-32B-Instructを採用し、s1Kの1,000件で微調整したs1-32Bの正解率を測定しました。著者報告によると、難関であるAIME 2024において、ベースモデルの正解率15.6パーセントに対し、s1-32Bは26.7パーセントを記録し、11.1パーセントポイントの大幅な向上を示しました。またMATHベンチマーク全体ではベースラインの44.6パーセントから56.8パーセントへ向上し、MATH-500ではベースモデルの74.6パーセントに対し80.4パーセントを記録してQwQ-32B-Previewと同水準に達しました。著者らはこの成果を、OpenAIのo1-previewに匹敵する競技数学性能であると報告しています。

推論時の計算量を増やす方法には、一つの思考を長く伸ばして深く検討させる「逐次スケーリング」と、複数の短い回答を独立に生成して多数決をとる「並列スケーリング（自己整合性）」があります。著者らは、消費する総トークン数をそろえた条件下で両者の効率を比較しました。その結果、特に難易度の高い問題においては、短い思考を並列に走らせて多数決をとるよりも、budget forcingで単一の思考経路を長く伸ばして自己点検を繰り返させる逐次スケーリングのほうが、トークン利用効率に優れると報告されました。先ほどの業務の例で言えば、複数の若手社員に短時間で粗い試算を何本も作らせて多数決をとるよりも、一人の担当者に十分な時間を与えて徹底的に検算を行わせるほうが、難度の高い数理課題では正解に到達しやすいという実験的示唆を与えています。

この評価結果を理解するうえで、実験が証明した範囲を客観的に見定める必要があります。まず、報告された数値はすべて論文著者の実験条件下での報告値です。また、性能向上の要因を単一の要素に帰属させることはできません。成果は、元となるQwen2.5-32Bが持つ事前学習能力、精選されたs1Kデータセット、教師あり微調整、そして推論時のbudget forcingが組み合わさった結果です。「思考終了を抑えてWaitと加えただけで15.6パーセントから26.7パーセントへ伸びた」と解釈するのは不正確であり、学習段階の型の習得と推論時の計算量追加の双方が寄与しています。なお、微調整に要した計算コストはおよそ50ドル相当と記録されており、巨額の投資なしに推論スケーリングの検証が可能であることを示した点が、本実験の明確な実証範囲でした。

s1が公表された2025年1月以降、推論モデルに関する研究環境は大きく転換しました。論文公開直後からHugging Faceのトレンド首位を獲得し、コミュニティから430の賛成票を集めるなど、開発者や研究者の間で急速な関心を集めました。それまで推論時の計算量スケーリングは、莫大な資本力を持つ一部の巨大テック企業だけが取り組める専有技術であり、その内部機構はブラックボックスに覆われていると考えられていました。しかし、s1がわずか1,000件の精選データと約50ドルの計算コスト、簡潔な制御アルゴリズムによって推論スケーリングを実証したことで、この研究領域は一握りの独占から、世界中の独立系研究者やオープンソースコミュニティが直接検証できるオープンな研究テーマへと移行しました。

同時期に登場したDeepSeek-R1が大規模な強化学習の力によって高度な推論性能を達成したのに対し、コミュニティにおいてs1は「推論時制御のミニマリズム」として対比的に位置づけられました。推論性能を高める手段が、必ずしも大規模強化学習の再現だけに限定されないことが示されたためです。強化学習を通じてモデルの重み自体を書き換える手法に対し、s1は軽量な微調整で基本的な思考の型を整えたうえで、実行時の生成ループに外部から介入する軽量な代替案を提示しました。ただし記録に基づく限り、s1が強化学習のアプローチを完全に代替したわけでも、産業界の唯一の標準手法として定着したわけでもありません。推論スケーリングを実現するための有力かつ手軽な選択肢として、研究の視野を大きく広げた点に歴史的な位置づけがあります。

s1が残した設計上の影響は、AIシステムの構築において「推論時の計算予算」が明示的な調整変数として扱われるようになった点にあります。従来、LLMを活用した業務設計では、どのモデルを選ぶか、プロンプトをどう書くかといった静的な設定が中心でした。しかしs1の登場以降、タスクの難易度に応じて推論時に割り当てる思考トークンの量を動的に調整するという設計思想が現実味を帯びるようになりました。定型的な簡易業務には最小限のトークンで即座に回答させ、複雑な事業試算や論理検証が必要な局面では思考終了を抑止して十分な計算量を投じる、というリソースの最適配分が技術的に可能であることを示したのです。

s1の手法は簡明である反面、明確な構造的限界を抱えています。最大の問題は、「考えさせる時間を延ばせば常に正しい結論に到達するわけではない」という点です。budget forcingによって思考を強制継続させた場合、モデルが同じ論理展開や数式の変形を表現だけ変えて繰り返す「反復ループ」に陥る現象が確認されています。さらに、最初の段階で誤った前提や計算違いを犯していた場合、追加の思考時間を与えられても誤りに気づかず、むしろ誤答を正当化するための議論を重ねて確信を強めてしまう「誤りの固定化」が生じるリスクもあります。budget forcing自体は推論の長さを伸ばすだけであり、生成された思考の正誤を判定する外部検証器を持たないため、思考の延長が質の向上を保証するわけではないのです。

もう一つの本質的な限界は、モデルが元々持っていない知識の壁です。担当アナリストの比喩で言えば、追加の時間をいくら与えられても、手元にない最新の税制改正データや未公開の社内数値をアナリストが頭の中から生み出すことはできません。言語モデルにとっても同様であり、事前学習で獲得していない知識や事実関係は、思考トークンを何千個追加しても正しく生成されません。また、s1の有効性が検証されたのは、厳密な正解が存在し、論理的なステップを形式的に積み上げることができる競技数学やオリンピック問題が中心でした。契約書の文言解釈や事実調査、クリエイティブな文章作成など、白黒が明瞭でない業務課題において、同様の思考延長が有効に機能するかどうかは原論文のデータからは確認されていません。

この研究から得られる教訓をビジネスや実務開発に活かす際には、厳格な判断基準が必要です。第一に、推論時間を延ばしたモデルを採用する場合、単に長文の推論過程が出力されていること自体を「信頼性が高い」と錯覚してはなりません。実務評価を行うなら、短い回答、思考を強制延長させた回答、複数の回答候補を、同じ総トークン消費量の条件下で並べて比較検証する必要があります。第二に、平均正解率だけでなく、思考を引き延ばしたことで生じた反復ループの発生率や、誤答を確信してしまった失敗事例の頻度を個別に測定しなければなりません。s1が明らかにしたのは、推論時の計算量が性能を動かす重要な変数であるという事実であり、「単に待たせれば知能が上がる」という無条件の解決策ではないことを認識することが不可欠です。