Singularity LensAI研究の転換点を、解像度を変えて読む
Tier 1: 世界のルールを不可逆に変えた原典推論・Reasoning AIHF 463 votes
DeepSeek-R1推論モデル純粋強化学習

DeepSeek-R1：強化学習によるLLMの推論能力創発とオープン化

純粋強化学習による自己反省と「ひらめき」の創発、および高効率蒸留により、推論モデルのオープン革命を起こした新時代の礎

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

発表日
掲載先
arXiv 2025 / DeepSeek-AI

読み方の2つの軸

現在：しくみ × 全体像

語彙 使うことば・数式・例え方

直感数式なし
しくみ基礎的な数式
原論文原論文の表現

深さ 研究のどこまで読むか

核心肝だけ
全体像背景から評価
読み解く前提から限界

この2本は、本文下のスライダーからいつでも変更できます。

概要

DeepSeek-R1は、数学やプログラミングのように答えを自動で確かめやすい問題を使い、正解への点数から言語モデルの問題を解く力を伸ばした研究です。著者らは、人が書いた途中説明を最初に与えないR1-Zeroでも、長く考え直す振る舞いが現れたと報告しました。完成版R1では、読みやすさや幅広い課題への対応のため、少量の例を使う学習も組み合わせています。

DeepSeek-R1の中心は、複数の答えを一度に作り、同じ問題への答え同士を比べて点数の高い出し方を増やす学習です。数学では最終解、プログラミングではテスト結果のように、自動で正誤を確かめられる信号を使います。R1-Zeroは人が書いた途中説明なしでこの学習を始め、完成版R1は読みやすい出力のための例示学習と、数学以外も含む追加学習を組み合わせました。著者らは複数の数学・コード課題で成績を報告しています。

この研究は、正解を自動で判定できる問題なら、人が途中の考え方を大量に書かなくても、結果への点数から問題の解き方を学べるかを調べました。R1-Zeroでは、同じ問いへの複数の回答を比べる学習を行い、出力を長くしたり途中で方針を見直したりする振る舞いを観察しました。ただし、読みづらさや言語が混ざる問題もありました。完成版R1では、人が用意した少量の例、強化学習、選別した回答による追加学習を段階的に組み合わせ、その後に小型モデルへ回答例を移す実験も行いました。

DeepSeek-R1は、人間の模範思考データ（SFT）を介さずに純粋な強化学習（RL）のみで推論能力と自己検証行動を創発させたオープン推論モデルです。

ベースモデルに対し、答えの正誤のみを判定するルールベース報酬を与えて大規模強化学習を行うことで、モデルが自発的に思考時間を伸ばし、解法の検証や誤り訂正（Aha Moment）を行う現象を発見。さらにCritic不要のGRPOアルゴリズムを開発して学習効率を飛躍させました。

AIME 2024（79.8%）などでOpenAI o1と互角の性能を実証し、その思考データを蒸留した1.5B〜70Bの小型モデル群とともにオープンソース化されました。

DeepSeek-R1は、大規模強化学習を用いて言語モデルの推論能力を向上させた研究です。本論文は「DeepSeek-R1-Zero」と「DeepSeek-R1」の2段階のモデル開発プロセスを提示しています。

事前学習済みDeepSeek-V3-Baseに対し、SFTを一切挟まず直接強化学習（GRPO）を適用。報酬は「数学的解の一致」および「コンパイラ検証」という客観的なルールのみ。学習が進むにつれ、モデルは思考トークン数を自発的に数百から数万へと伸長させ、別解の探索や論理の再考（Self-Correction）を自律的に獲得しました。

R1-Zeroの可読性の低さや言語混合を解決するため、以下の4段階で訓練：

R1から抽出した80万サンプルの思考連鎖を用いてQwenおよびLlamaを微調整し、1.5B〜70Bの小型推論モデル群を構築しました。

本論文は、大規模自己回帰言語モデルにおけるテスト時計算スケーリングと推論能力の獲得を目的とし、純粋強化学習による思考の創発と多段階アライメントを統合した『DeepSeek-R1』の全貌を提示したマイルストーンです。

従来の方策勾配法（PPO）におけるCriticモデルの計算・メモリ負荷を排除するため、グループサンプリングに基づくGRPOを採用します。プロンプト qq に対して旧方策から GG 個の出力 {o1,…,oG}\{o_1, \dots, o_G\} を生成し、得られた報酬 {r1,…,rG}\{r_1, \dots, r_G\} から以下のようにアドバンテージ AiA_i を正規化します：

Ai=ri−mean(r)std(r)A_i = \frac{r_i - \text{mean}(r)}{\text{std}(r)}

方策パラメータ θ\theta は以下の目的関数を最大化するように更新されます：

JGRPO(θ)=E[1G∑i=1G(min⁡(πθ(oi∣q)πθold(oi∣q)Ai,clip(πθ(oi∣q)πθold(oi∣q),1−ϵ,1+ϵ)Ai)−βDKL(πθ∥πref))]\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \left( \min \left( \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)} A_i, \text{clip}\left( \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}, 1-\epsilon, 1+\epsilon \right) A_i \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right) \right]

DeepSeek-R1-Zeroの強化学習過程において、モデルは明示的な指示なしに推論時間を伸長させ、自然言語による自己反省行動（例: "Wait, let me double check this result..." や "Let me try a different angle"）を獲得しました。これは報酬最大化の勾配更新が、自己回帰確率分布の探索空間において「思考による自己検証」という計算パスを自然に強化したことを示しています。

R1の思考トレースから得られたデータを用いた蒸留は、小型モデル（1.5B〜70B）に対して直接RLを適用するよりも遥かに高いベンチマーク精度を達成し、知能の圧縮における蒸留の有効性を報告しました。

DeepSeek-R1論文は、rule-based rewardを用いるGRPOによってreasoning behaviorを学習したR1-Zeroと、cold-start dataを加えたR1を報告します。著者らはAIME 2024で79.8%、MATH-500で97.3%を報告し、distilled model familyも公開しました。

本論文は、大規模言語モデルに対する大規模強化学習の適用を通じて推論能力を創発させた『DeepSeek-R1』の全貌を提示した研究です。

模範解答を一切与えず、数学の正誤やコードの実行結果のみを報酬として強化学習（GRPO）を実施した結果、モデルは思考トークンを自律的に伸ばし、途中での自己訂正行動（Aha Moment）を自発的に獲得しました。

R1-Zeroの言語混在や可読性の課題を解決するため、コールドスタートデータによる初期化、多段階強化学習、および棄却サンプリングを統合しました。

R1から得られた80万サンプルの思考連鎖をQwenおよびLlamaに蒸留し、小型モデル単独での強化学習を上回る推論性能を達成しました。

本論文は、大規模言語モデルにおけるテスト時計算スケーリングと推論能力の獲得を目的とし、純粋強化学習による思考の創発と多段階アライメントを統合した『DeepSeek-R1』の全貌を提示したマイルストーンです。

従来の方策勾配法（PPO）におけるCriticモデルの計算・メモリ負荷を排除するため、グループサンプリングに基づくGRPOを採用します。プロンプト qq に対して旧方策から GG 個の出力 {o1,…,oG}\{o_1, \dots, o_G\} を生成し、得られた報酬 {r1,…,rG}\{r_1, \dots, r_G\} から以下のようにアドバンテージ AiA_i を正規化します：

Ai=ri−mean(r)std(r)A_i = \frac{r_i - \text{mean}(r)}{\text{std}(r)}

方策パラメータ θ\theta は以下の目的関数を最大化するように更新されます：

JGRPO(θ)=E[1G∑i=1G(min⁡(πθ(oi∣q)πθold(oi∣q)Ai,clip(πθ(oi∣q)πθold(oi∣q),1−ϵ,1+ϵ)Ai)−βDKL(πθ∥πref))]\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \left( \min \left( \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)} A_i, \text{clip}\left( \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}, 1-\epsilon, 1+\epsilon \right) A_i \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right) \right]

DeepSeek-R1-Zeroの強化学習過程において、モデルは明示的な指示なしに推論時間を伸長させ、自然言語による自己反省行動（例: "Wait, let me double check this result..." や "Let me try a different angle"）を獲得しました。これは報酬最大化の勾配更新が、自己回帰確率分布の探索空間において「思考による自己検証」という計算パスを自然に強化したことを示しています。

R1の思考トレースから得られたデータを用いた蒸留は、小型モデル（1.5B〜70B）に対して直接RLを適用するよりも遥かに高いベンチマーク精度を達成し、知能の圧縮における蒸留の有効性を報告しました。

Daya GuoDejian YangHaowei Zhangほか1名
著者をもっと詳しく知る（全4名）

論文と確認可能な公式情報に基づき、著者の所属と研究背景を掲載しています。

全著者と所属

  1. Daya Guo
    DeepSeek-AI
  2. Dejian Yang
    DeepSeek-AI
  3. Haowei Zhang
    DeepSeek-AI
  4. Xiao Bi
    DeepSeek-AI

確認できた研究背景

Daya Guo
所属
: DeepSeek-AI
学歴
: DeepSeek-AI リードリサーチャー
主な関心
: コード言語モデル、強化学習、推論モデル
Dejian Yang
所属
: DeepSeek-AI
学歴
: DeepSeek-AI リサーチャー
主な関心
: 推論能力創発、大規模強化学習
Haowei Zhang
所属
: DeepSeek-AI
学歴
: DeepSeek-AI エンジニアリングリード
主な関心
: 分散強化学習基盤、GRPO実装
Xiao Bi
所属
: DeepSeek-AI
学歴
: DeepSeek-AI 創業者 / リードアーキテクト
主な関心
: 基盤モデルアーキテクチャ、オープンソースAI

なぜ歴史的イノベーションなのか

人間が答え方を教えなくても、正解・不正解の判定だけでAIが自力で「じっくり考える力」や「間違いに気づいてやり直す力」を身につけた大革命。推論AIの常識を覆した論文です。

人間の模範解答（SFT）ゼロから純粋強化学習だけで推論能力を創発させる「DeepSeek-R1-Zero」を発見。さらに価値関数を排除した高効率強化学習（GRPO）と小型モデルへの蒸留を確立しました。

大規模強化学習によるテスト時計算スケーリング（Test-time Compute）の完全実証。批判的自己検証行動（Aha Moment）の自律的獲得、多段階アライメント、およびオープン蒸留による推論知能の民主化。

SFTなしの純粋強化学習による思考連鎖の創発と、蒸留によるオープン推論モデル。

Criticモデル不要のGRPOによりGPUメモリを大幅節約。数学・競技プログラミングでOpenAI o1に匹敵する性能を達成し、6つの蒸留密モデルを公開。

グループ相対方策最適化（GRPO）の数理定式化、ルールベース精度報酬とフォーマット報酬の設計、コールドスタートデータと多段階強化学習パイプライン。

DeepSeek-AI（2025）によるDeepSeek-R1の原典。純粋強化学習を通じた推論能力創発と蒸留モデルの包括的オープン化を提示。

推論タスクにおける事後学習スケーリングの新たなパラダイムを確立し、世界中のAI研究開発の潮流を決定づけたマイルストーン論文。

AIME 2024（79.8%）、MATH-500（97.3%）におけるフロンティア推論性能の実証、思考トークン長の自己適応的伸長、および蒸留対強化学習の比較分析。

コミュニティの評価・歴史的インパクト（1件）

  • 人間の模範データなしにAIが自ら思考を深め『待てよ、もう一度考え直そう』と自律的に自己訂正を始めるログが公開された瞬間、世界中のAI研究者に電撃が走った。

    原文を見る ↗
この読み方に出てくる言葉（3語）
強化学習

答えへの点数を手がかりに、よりよい答え方を学ぶ方法。

推論

与えられた情報から、途中の関係をたどって答えを導く概念。

報酬

出力の良し悪しを学習側へ伝える点数。

どんな問いに向き合ったか

従来のフロンティア推論モデル（OpenAI o1等）はクローズドであり、その思考連鎖の学習原理や創発メカニズムが秘密にされていた。また、人間の書いた模範的推論トレース（SFT）への依存がデータのボトルネックとなっていた。

従来の方法と課題

大量の人手作成CoTデータを用いたSFT、プロプライエタリなブラックボックス推論モデル、およびCriticモデルを伴う高メモリ負荷なPPO強化学習。

肝のアイデア

SFTデータを介さず、答えの正誤ルールのみを用いた純粋強化学習（GRPO）によって自律的な思考・自己反省行動（Aha Moment）を創発させ、さらにその思考軌跡を小型モデル（1.5B〜70B）に高密度蒸留する。

どういうしくみか

GRPOアルゴリズム、ルールベース検証報酬、コールドスタート初期化、多段階RLパイプライン、知識蒸留。

どう確かめたか

著者らは、AIME 2024で79.8%（Pass@1）を達成しOpenAI o1-1217（79.2%）を上回る推論精度を記録。MATH-500において97.3%、Codeforcesで96.3パーセンタイル（レーティング2029）を達成。蒸留されたQwen-32BモデルがAIMEで72.6%を記録し商用小型モデル（o1-mini等）を上回る結果

何が分かったか

その評価で著者らは、AIME 2024においてPass@1で79.8%（Consensus@64で90.0%以上）を記録しOpenAI o1に匹敵。MATH-500で97.3%、Codeforcesでレーティング2029を達成。蒸留モデル（DeepSeek-R1-Distill-Qwen-14B/32B）が同規模の強化学習単独モデルを一貫して上回る結果

どこまで使えるか

主張の中心は検証可能な報酬を置ける数学・コード課題と、その推論データの蒸留です。自由記述課題、報酬検証器の誤り、推論文の忠実性や言語差は射程外または未解決です。

限界と未解決の問い

多言語混在現象や過剰な思考トークン生成（オーバーシンキング）。ソフトウェア開発全体の自律実行など長期コンテキストを要する実務タスクでの課題

思考プロセスの長大化（数千〜万トークン）に伴う推論遅延と計算リソース消費の増大。客観的な正誤判定関数（Verifier）が存在しない非数学的・主観的タスクに対する報酬適用の難しさ。純粋RLモデルにおける多言語混在現象と可読性の課題

この研究から考える

ここからは、論文の結果を踏まえた編集上の考察です。

検証可能な報酬による推論改善が他領域でも再現するなら、教師あり推論軌跡を大量に用意することは唯一の経路ではありません。ただし、報酬を信頼できる課題への偏り、出力の可読性、言語間の性能差があり、強化学習だけで一般的推論能力を説明することはできません。