DeepSeek-R1：強化学習によるLLMの推論能力創発とオープン化

本研究が登場する以前、言語モデルに高度な推論を行わせるための主流な手法は、人間が作成した詳細な思考手順を教師データとして与える教師あり微調整（SFT）であった。数学の証明や複雑なプログラミングでは、結論だけでなく、問題を細分化し、立式し、途中計算を行い、検算に至るまでの丁寧な解説文を大量に用意してモデルに学習させていた。しかし、人間が高品質な推論手順を一歩一歩書き下ろす作業には多大なコストと時間がかかり、データの量と質の限界がモデル性能の向上を阻むボトルネックとなっていた。さらに当時、高い推論性能を示す先駆的なフロンティアモデル（OpenAI o1など）は商用の非公開モデルであり、思考の連鎖がどのような学習原理で成立しているのか外部から確かめることができなかった。推論能力の獲得には人間による手本が不可欠なのか、それとも別の原理がありうるのか、研究コミュニティは模索を続けていた。

仕組みを直感的に理解するため、企業の経理・財務部門における「四半期決算データの集計・検算業務」を考えてみよう。担当者は、膨大な取引明細や複数の税率、為替レートが絡む複雑な仕訳表を扱い、最終的な税額や損益の数値を正しく算出することが求められる。この業務の重要な特徴は、途中の計算手順がどれほど入り組んでいても、最終的な提出数値が正しいかどうかは、あらかじめ用意された検算スクリプト（検証器）によって機械的・客観的に合否を判定できる点にある。もし上司が新人を指導する際、あらゆる例外に対応した完璧な手順書（SFTデータ）を用意しなくても、検算スクリプトによる正誤判定（報酬）を即座に返せる環境があれば、新人が試行錯誤を通じて解き方を自律的に学ぶ道が考えられる。本研究が着目したのは、まさにこの「結果を機械的に採点できる環境での自律的な試行錯誤」であった。

試行錯誤を通じてモデルを育てる強化学習（RL）を言語モデルに適用することには、大きな計算上の障害があった。従来の代表的な強化学習手法であるPPOでは、回答を生成する方策モデルとは別に、その回答の各ステップがどれくらい優れているかという価値を予測する同規模の「Criticモデル」を並列して動作させる必要があった。数十億から数百億パラメータに及ぶ巨大な言語モデルにおいて、2つのモデルを同時にGPUメモリ上に常駐させることはメモリ消費（VRAM）を極度に圧迫し、学習インフラのコストを跳ね上げる原因となっていた。試行錯誤による推論学習を実現するには、人間による手本への依存を断つだけでなく、強化学習自体の計算効率を根本から改善する新しいアルゴリズムが不可欠であった。

研究チームが最初に行った試みは、推論用の模範解答（SFT）を事前に与えず、基盤モデルに対して直接大規模な強化学習を適用するDeepSeek-R1-Zeroの開発であった。R1-Zeroに与えられたのは、問題を解く手順の手本ではなく、最終的な出力に対する2つのルールベースの報酬のみである。第1は数学解の一致やプログラムの実行成否を判定する「精度報酬」、第2は思考過程を指定の思考タグ内に分離して記述しているかを見る「フォーマット報酬」である。人間の主観的な好みに基づく採点を排し、プログラムによって機械的かつ確実に検証できる正誤判定のみを手がかりとして、モデルに試行錯誤を繰り返させたのである。

この大規模な試行錯誤を支えた基幹技術が、GRPO（Group Relative Policy Optimization）である。GRPOは従来のPPOと異なり、独立したCriticモデルを必要としない。1つの問題に対してモデルに複数の回答候補（グループ）を同時に生成させ、そのグループ内での相対的な優劣（平均やばらつきとの比較）から各回答のアドバンテージを直接算出する。決算検算の例で言えば、1つの課題に対して担当者が複数の異なる計算案を同時に試し、グループ内での相対スコアによって良い解法を強化していくアプローチである。著者らの報告によれば、この工夫によって強化学習時のGPUメモリ消費を約50パーセント削減し、大規模な試行錯誤を効率的に回す基盤を確立した。

学習が進むにつれ、R1-Zeroは思考プロセスを自律的に引き延ばし、途中で解法を見直す振る舞いを示した。回答の途中で立ち止まり、「待てよ、もう一度考え直そう」「この計算方針には見落としがあるかもしれない」といったテキストを出力し、別の方針を試して正解に至る現象が観察され、論文では「Aha Moment」と呼ばれた。ただし、決算検算の例えと本研究の間には明確な境界がある。人間の担当者が内心で誤りに気づいて内省することと、言語モデルが正答報酬を得やすい統計的パターンとして再検討のテキストを出力することは質的に異なる。モデルに内省の自覚があるわけではなく、客観的な正誤報酬を最大化する過程で、ステップを踏んで検算をやり直す文章パターンが有効な方策として選択されたにすぎない。

純粋強化学習のみで育ったR1-Zeroは高い推論行動を示したものの、実用上の重大な弱点を抱えていた。思考プロセスの中で英語と中国語が不自然に入り混じる言語混在現象が発生し、文章の論理構成も乱雑で、人間にとって非常に読みにくい出力になってしまったのである。そこで完成版のDeepSeek-R1では多段階の学習パイプラインが導入された。少量の良質な思考例による「コールドスタートデータ」で読みやすい思考の基本骨格を整えた上で推論強化学習を行い、さらに良質な回答を選別した追加学習や全シナリオでの強化学習を重ねた。R1-Zeroで得た自律探索の知見に、人間が扱いやすい出力形式を与えるための段階的調整を巧みに融合させた設計である。

DeepSeek-R1の性能検証は、正誤が機械的・論理的に一意に決まる数学競技やプログラミング課題を中心に行われた。具体的には、難関高校生レベルの数学オリンピック予選であるAIME 2024、500問の高校・大学レベルの数学問題からなるMATH-500、そして世界的な競技プログラミングのCodeforcesが採用された。主な評価指標には、最初に生成した1つの回答が正解となる割合を測るPass@1が用いられた。決算業務に例えれば、提出した計算書が一発で検算スクリプトを通過する確率を測る形式である。比較対象には商用モデルのOpenAI-o1-1217などが設定され、同一テスト条件下で厳密な比較が試みられた。

著者らが報告した実験結果によれば、DeepSeek-R1はAIME 2024でPass@1が79.8%を記録し、OpenAI-o1-1217の79.2%と同水準（0.6パーセントポイント差）の推論精度を示した。またMATH-500では97.3%、Codeforcesではレーティング2029（96.3パーセンタイル）を達成したとされる。さらに論文では、R1が生成した80万件の思考連鎖データをQwenやLlamaベースの小型モデル群（1.5B、7B、8B、14B、32B、70B）へ蒸留した結果が示された。その中でもQwen-32BベースのモデルはAIMEで72.6%を記録した。小型モデル自身に直接強化学習を行うよりも、R1から蒸留したモデルの方が明確に高い推論性能を示し、商用小型モデル（o1-miniなど）を上回ったと報告されている。

この原典の評価が立証したのは、明確な検証器が存在する数学やコード課題において、人手による大量の模範手順がなくても強化学習によって思考と自己検証の行動を引き出せることである。また、大規模モデルの思考ログを小型モデルに蒸留する手法が実効性を持つことも示された。一方で、正解が一意に決まらない主観的・創造的業務で同様の学習が成立するかは確認されていない。また、数千から1万トークンにおよぶ長い思考文のどの部分が正解に因果的に寄与しているか、無駄な冗長性がどれほど含まれるかも、このベンチマーク評価単体からは切り分けられていない。

本研究がもたらした明確な影響は、非公開だった推論モデルの学習メカニズムをオープンな研究の場に引き出したことである。研究チームはDeepSeek-R1-Zero、完成版R1、そして6つの蒸留モデルの重みをオープンウェイトとして公開した。この公開はHugging Face上で463件の支持（upvotes）を集めるなど、開発者から大きな反響を得た。これにより、大規模強化学習から思考連鎖や自己反省の記述がどのように創発するかを、外部の研究者が直接検証・追試できる環境が整えられ、推論モデル開発がコミュニティ全体で共有される研究テーマとなった。

もう一つの重要な貢献は、大規模モデルによる探索と小型モデルへの蒸留という役割分担の実用性を示した点にある。決算検算の例で言えば、十分な計算資源を持つ環境で熟練の分析AI（R1）を育て、そのAIが出力した80万件の推論ログを教材として、現場で動く軽量モデル（1.5B〜70B）に効率よく知見を移植するアプローチである。小型モデル自身にゼロから強化学習を課すよりも蒸留の方が優れた性能を発揮するという実証は、計算資源が限られた現場での推論AI活用の現実的な設計指針となり、自前の環境への推論機能の組み込みを促進した。

ただし、本研究の影響を論じる際には、提供された記録の範囲を厳格に保つ必要がある。記録が裏付けているのは、オープンウェイトモデルの公開、コミュニティでの反響、ベンチマークにおける商用モデルとの同水準成績、および小型モデルへの蒸留効果までである。これをもって業界全体の標準が決定されたり、あらゆる開発基盤が置き換わったりしたと主張することは根拠を欠く。後続システムへの直接の継承関係や商用採用の実績を論じるには別の証拠が必要であり、本研究は検証可能な領域における推論学習と蒸留の可能性を実証した重要なマイルストーンとして冷静に位置付けるのが妥当である。

本研究の成果を現代から見つめ直すとき、最も本質的な制約は「客観的な検証器への完全な依存」にある。R1-Zeroの強化学習が成功したのは、数学解やプログラム実行のように、正誤を機械的かつ決定論的に判定できるルールが存在したからである。しかし決算検算業務を離れ、「経営戦略の提案」や「新商品の企画」「法務相談の検討」といった主観的業務では、一意の正解を判定するスクリプトを作ることができない。正誤判定が曖昧な領域で無理に報酬を与えようとすれば、評価アルゴリズムの盲点を突いて点数だけを稼ぐ行動に陥る恐れがあり、本手法を直ちに一般業務へ広げることには原理的な限界がある。

第2の制約は、実務運用における推論時の計算コストと待ち時間の問題である。R1は自律的に思考手順を伸ばし、数千から1万トークンを超える長い思考文を出力する。GRPOによる省メモリ化はあくまで学習時の効率化であり、実際に利用者が回答を受け取る推論時の負荷を軽くするものではない。1つの質問に対して数分間の待ち時間が発生し、大量の計算資源を消費する動作特性は、即時性が求められる顧客応対やリアルタイム業務には向かない。思考を伸ばして精度を高める手法を採用する際は、投じる計算資源と得られる成果の費用対効果を厳密に考慮する必要がある。

第3の制約は、純粋強化学習モデルに見られた出力品質の不安定さである。R1-Zeroで言語混在や可読性の低下が生じた事実は、正誤判定の報酬だけでは人間にとって読みやすい表現力まで自然に育つわけではないことを示している。完成版R1がコールドスタートデータや多段階学習を要したこと自体が、純粋な試行錯誤のみで実用化に至る難しさを証明している。読者が今後注目すべきなのは、検証器が作りにくい半構造化タスクへの適用可能性や、思考の長さを抑えながら精度を保つ制御技術、そして実業務での投資対効果に関する客観的な検証である。