Qwen2.5 技術報告書：コード・数学・長文推論におけるオープン基盤モデルの包括的フロンティア

著者らが取り組んだのは、英語だけでなく多言語、数学、コード、長い文章を扱えるモデル群を、小型から大型まで同じ系列で用意することです。Qwen2.5は0.5Bから72Bまでの複数サイズを学習し、用途と計算量に応じて選べる範囲を広げました。

世界中から集めた18兆文字に及ぶ超巨大かつ高品質なデータで基礎を徹底的に鍛え上げ、さらにAI自身に良質な問題と解答を作らせて自己改善させる『合成データ技術』を活用しました。

・0.5B（超小型）から72B（超大型）まで、同一の高品質な設計で揃えた完璧なラインナップ

著者は、次の共通テストや課題で結果を報告しています。

・数学の難問テスト（MATH）で83.1%を記録し、同規模の競合オープンモデルを大きく上回る

・コード生成テスト（HumanEval）で86.6%を達成し、プロのエンジニアを支援できる高い実用性を示し

・最大の72Bモデルを快適に動かすには高価なGPU（RTX 4090複数枚やA100）が必要

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。この結果は、一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。ただし、評価値は著者報告であり、大型モデルには大きな計算資源が必要です

従来、オープンソースの王者はMetaのLlamaシリーズでした。しかしQwen 2.5は、アジア言語（日本語・中国語）の流暢さと、理系分野（数学・コード・論理推論）での突出した知能を武器に、世界の開発者や企業から『最も実用的なオープンモデル』として選ばれる存在へと躍進しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

従来、オープンソースの王者はMetaのLlamaシリーズでした。しかしQwen 2.5は、アジア言語（日本語・中国語）の流暢さと、理系分野（数学・コード・論理推論）での突出した知能を武器に、世界の開発者や企業から『最も実用的なオープンモデル』として選ばれる存在へと躍進しました。

・0.5B, 1.5B, 3B, 7B, 14B, 32B, 72Bというきめ細やかなサイズ展開

・128kトークン（約20万文字）の超長文一度に読める入力範囲（コンテキスト）に詳細な対応し、長大なドキュメントを正確に要約

事前学習データを18兆トークンに拡大し、合成データ（AIが生成した良質な解説やコード）を大量に注入してデータの質を高めました。また、指示追従（ポストトレーニング）において、ルールベースの正誤判定器（Verifier）を用いた強化学習を取り入れ、数学やコードの嘘（もっともらしい誤り（ハルシネーション））を減らしています。

著者は、次の共通テストや課題で結果を報告しています。

・知識テスト（MMLU）で86.8%を記録し、オープンソースモデルとしてトップレベルの知能を実証

・数学（MATH 83.1%）およびコード（HumanEval 86.6%）でGPT-4oの初期バージョンに匹敵する精度を達成

著者は、次の共通テストや課題で結果を報告しています。

・長文検索テスト（Needle In A Haystack）において、128kトークンの全領域で100%の情報回収率を達成

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・日本語を含む29以上の言語において、母国語レベルの高い理解力と自然な文章生成力を実現

・72Bモデルの推論には大量のVRAMが必要（4bit量子化しても40GB以上のGPUメモリを推奨）

・合成データを大量に使っているため、特定の定型表現や過度に丁寧な言い回しが出やすい傾向がある

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。同じ傾向が対象の課題でも確認できるなら、一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。判断の前に、評価値は著者報告であり、大型モデルには大きな計算資源が必要です

オープンソースAIが真に実用的なツールになるためには、『英語だけでなく多言語が使えること』『プログラミングと数学という厳密な論理を解けること』『エッジデバイスからクラウドまで同じ知能がスケールすること』の3つが必要でした。Qwen 2.5はそのすべてを高い完成度で実現し、世界中の開発基盤を変える一因となりました。

従来、オープンソースの王者はMetaのLlamaシリーズでした。しかしQwen 2.5は、アジア言語（日本語・中国語）の流暢さと、理系分野（数学・コード・論理推論）での突出した知能を武器に、世界の開発者や企業から『最も実用的なオープンモデル』として選ばれる存在へと躍進しました。

提案の流れは次の要素から成ります。

・18兆トークンの事前学習コーパス：フィルタリング、重複排除、品質スコアリング、合成データ生成を多段適用

・長文読解（128k一度に読める入力範囲（コンテキスト））と構造化出力（JSON出力、関数呼び出し / Function Calling）の堅牢性

モデル構造にはSwiGLU、RoPE、RMSNorm、GQA（Grouped-Query Attention）という現代の最高水準の標準技術を採用。長文対応にはRoPEの基底周波数を100万に引き上げ、さらに長文専用の継続事前学習を実施。ポストトレーニングでは、数学やプログラミングのように『正解が自動判定できるタスク』に対してコード実行環境や数式検証器を用いた強化学習（RL）を集中的に行い、論理的推論力を向上させました。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

著者は、次の共通テストや課題で結果を報告しています。 データセット、指標、比較対象をそろえて読む必要があります。

・Qwen2.5-72B-InstructがMMLUで86.8%, MMLU-Proで71.6%を記録し、Llama 3.1 70Bを明確にリード

・MATHで83.1%, GSM8Kで91.6%という、オープンモデルとして数学的推論精度を達成

著者は、次の共通テストや課題で結果を報告しています。

・HumanEval 86.6%, MultiPL-E（多言語コード生成）でも数値を叩き出し、プログラミング支援能力の高さを示し

・特に32Bモデルが前世代の72Bモデルに匹敵する性能を達成し、推論コスト効率の新たな黄金比を確立

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・多言語データの比率において東アジア言語が充実している一方、一部のマイナー言語では英語・中国語に比べて性能差が存在する

・72Bモデルは単一のコンシューマGPUでは動作せず、実務運用にはvLLMやTensorRT-LLMによる複数GPU並列サービングが前提となる

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・多言語データの比率において東アジア言語が充実している一方、一部のマイナー言語では英語・中国語に比べて性能差が存在する

・72Bモデルは単一のコンシューマGPUでは動作せず、実務運用にはvLLMやTensorRT-LLMによる複数GPU並列サービングが前提となる

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。ここから得られる示唆には追加検証が必要です。一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。一方で、評価値は著者報告であり、大型モデルには大きな計算資源が必要です。次に見るべき証拠は、条件を変えた追試と失敗例です。

MetaのLlama 3.1 70Bを多くのベンチマークで凌駕し、特にコーディング（HumanEval 86.6%）と数学（MATH 83.1%）でオープンモデルの新たな高いを確立しました。

GQA、SwiGLU、RMSNormを採用。長文対応のためRoPE base frequencyを $10^6$ に拡張し128kトークンをサポート。SFTに加え、ルールベース検証器を用いたマルチステージ強化学習を導入しました。

・18Tトークンに及ぶ大規模多言語・コード事前学習コーパスの構築

著者らは72BモデルについてMMLU 86.8%、MMLU-Pro 71.6%、MATH 83.1%、GSM8K 91.6%を報告しました。これらは技術報告書のモデル版、プロンプト、採点条件に基づく値であり、課題全般の能力を一つの順位として示すものではありません。

・72Bモデルの推論メモリフットプリント（FP16で約144GB、AWQ/GPTQ量子化で約40GB）

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。したがって、対象条件が近い場合は、一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。ただし、評価値は著者報告であり、大型モデルには大きな計算資源が必要です

商用プロプライエタリモデル（GPT-4o、Claude 3.5 Sonnet）に匹敵するコード生成力と数学的推論力をオープンウェイトで実現。特に32Bサイズが前世代の72Bを上回るパラメータ効率を達成し、オンプレミス・エッジ運用の経済性を激変させました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

商用プロプライエタリモデル（GPT-4o、Claude 3.5 Sonnet）に匹敵するコード生成力と数学的推論力をオープンウェイトで実現。特に32Bサイズが前世代の72Bを上回るパラメータ効率を達成し、オンプレミス・エッジ運用の経済性を激変させました。

・合成データ生成によるコード・数学推論トレースの多段拡張パイプライン

・128kコンテキストにおける情報抽出能力と最大8kトークンの生成能力

アーキテクチャ：Qwen2.5-72Bはレイヤー数80、アテンションヘッド数64、KVヘッド数8（GQA）、隠れ層次元8192。長文対応にはRoPEの基底周波数を $10^6$ に設定。ポストトレーニングでは、高品質な指示データによるSFTに加え、数学の記号検証器やコードのサンドボックス実行環境によるフィードバックを用いた強化学習（RLHF/DPO/PPO）を適用しました。

著者報告の結果は次の評価条件に基づきます。

・MMLU 86.8%, GPQA 49.3%, MATH 83.1%を記録し、オープンウェイトモデルとして首位を獲得

・HumanEval 86.6%, EvalPlus 81.7%により、専用コーディングモデルに匹敵するプログラム生成精度を達成

著者報告の結果は次の評価条件に基づきます。

・Needle In A Haystack評価において、128k長・全深度で100%のリトリーバル精度を達成

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・構造化データ出力（JSON、YAML）およびツール利用（Function Calling）における誤り率の極小化

・72Bの大規模運用にはTensor Parallelism（TP=2または4）が必須となり、ノード間通信環境への配慮が必要

・推論時の安全ガードレールが厳格なクエリにおいて過度に保守的な応答（過剰拒絶）を示すケースがある

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。この観察が自分のデータと計算条件でも保たれるなら、一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。評価値は著者報告であり、大型モデルには大きな計算資源が必要ですので、同じbaselineとmetricでの比較が前提です。

モデルスケーリングの成功要因が『データ量』から『データ品質と推論データ比率』へと移行したことを示し。オープンモデルが直面していた数学・コードの壁を自律的合成データ生成と環境フィードバックで打ち破った開発論の集大成です。

商用プロプライエタリモデル（GPT-4o、Claude 3.5 Sonnet）に匹敵するコード生成力と数学的推論力をオープンウェイトで実現。特に32Bサイズが前世代の72Bを上回るパラメータ効率を達成し、オンプレミス・エッジ運用の経済性を激変させました。

提案の流れは次の要素から成ります。

・自己指導型合成データ拡張（Evol-Instruct + Execution Verification）による高難度推論データの自律生成

・GQAと長文RoPEスケーリングの相乗効果による128k超長文処理の高速・低メモリ化

構造諸元：Qwen2.5-72B（$L=80, d=8192, d_{ffn}=29568, H_Q=64, H_{KV}=8$）。アテンション計算にはGQAを採用しKVキャッシュ消費を1/8に圧縮。RoPE周波数 $\theta = 10^6$ による位置符号化外挿。データエンジニアリング：18Tトークン中、プログラミングおよび数学データの割合を大幅に増強。ポストトレーニング：段階的強化学習を採用。第1段階でDPOによる選好整流、第2段階で環境フィードバック（ユニットテスト通過、数式等価性判定）に基づくPPO強化学習を実施し、ハルシネーションを抑制。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

著者報告の結果は次の評価条件に基づきます。 データセット、指標、比較対象をそろえて読む必要があります。

・MMLU 86.8%, MMLU-Pro 71.6%, GPQA 49.3%（Llama 3.1 70B: MMLU 83.6%, MATH 68.0%を大きく凌駕）

・MATH 83.1%, GSM8K 91.6%（オープンモデルで数学的推論能力）

著者報告の結果は次の評価条件に基づきます。

・HumanEval 86.6%, MultiPL-E（Python, C++, Java, JS, etc.）で平均75%以上の高精度コード生成を達成

・128kトークンのPasskeyリトリーバルにおいて深度0%〜100%全域で精度100%を記録

・0.5Bから72Bに至る全7サイズにおいて、Compute-Optimalな学習損失と下流タスク精度の整合性を実証

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・VRAM要件：72BモデルのFP16推論には約144GBのVRAMが必要であり、A100/H100 80GBが2基以上、または4bit量子化（AWQ）による40GB以上のメモリ確保が前提

・モデルサイズ間の性能ギャップ：7B以下では数学・推論における難問解決能力が大幅に低下するスケーリング限界

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・VRAM要件：72BモデルのFP16推論には約144GBのVRAMが必要であり、A100/H100 80GBが2基以上、または4bit量子化（AWQ）による40GB以上のメモリ確保が前提

・モデルサイズ間の性能ギャップ：7B以下では数学・推論における難問解決能力が大幅に低下するスケーリング限界

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。結果から得られる示唆は次の通りです。一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。ただし、この観察だけで因果関係までは確定できません。評価値は著者報告であり、大型モデルには大きな計算資源が必要です。再現実験では条件を固定し、分布外データと失敗率を併記すべきです。

MetaのLlama 3.1を包括的に凌駕し、オープンモデルとして初めて商用プロプライエタリフロンティアモデルと正面から競合可能な推論・コード・多言語性能を示しました。

GQA、SwiGLU、RoPE（$\theta=10^6$）を統合。18Tトークンの高品質コーパス事前学習と、ルールベース検証器（コード実行・数学示し）による強化学習ポストトレーニングを実施しました。

・18兆トークンに及ぶ事前学習データセットの構築と多言語・コード領域の大きな拡充

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・MMLU 86.8%, MMLU-Pro 71.6%（Llama 3.1 70B: 83.6%を凌駕）

・MATH 83.1%（オープンモデル世界トップクラス）

・72Bモデルにおけるハードウェアサービング要件（マルチGPU構成）

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。この結果から得られる示唆は次の通りです。一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。ただし、評価値は著者報告であり、大型モデルには大きな計算資源が必要です

従来オープンモデルの弱点とされてきた数学・プログラミング・非英語多言語の3大領域を克服し、汎用基盤モデルとしての完成度を高めました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

従来オープンモデルの弱点とされてきた数学・プログラミング・非英語多言語の3大領域を克服し、汎用基盤モデルとしての完成度を高めました。

・高品質合成データ（Evol-Instruct + Code execution validation）の大規模統合

・GQAと拡張RoPEによる128kコンテキスト長におけるNeedle In A Haystack 100%達成

アーキテクチャ：Qwen2.5-72B（$L=80, d=8192, d_{ffn}=29568, H_Q=64, H_{KV}=8$、SwiGLU、RMSNorm）。RoPE基底周波数 $\theta=10^6$。データセット：ウェブテキスト、書籍、コード、合成推論トレースを含む18Tトークン。ポストトレーニング：指示チューニング（SFT）後に、数学問題に対する記号ソルバーフィードバックおよびコードに対する単体テスト実行結果を報酬とする強化学習（RL）を展開しました。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・MMLU 86.8%, GPQA 49.3%, MATH 83.1%, GSM8K 91.6%を記録

・HumanEval 86.6%, MBPP 85.0%, EvalPlus 81.7%を達成

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・日本語・中国語を含む29以上の言語ベンチマークで商用モデル同等の理解力を実証

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・32Bモデルにおけるアーキテクチャ効率の最適化（前世代72B超えの実現）

・大規模分散学習におけるクラスタフォールトトレランスとチェックポイント同期オーバーヘッド

・推論時におけるロングコンテキストKVキャッシュのVRAMフットプリント

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。このevidenceが同一protocolで再現される範囲では、一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。ただし、評価値は著者報告であり、大型モデルには大きな計算資源が必要です。reported setting外への一般化には追加評価が要ります。

Meta（Llama）、Google（Gemma）、Mistral等の欧米勢が主導してきたオープンLLM研究において、アジア発のモデルが数学・コード・多言語という最高難度の知的領域で世界的リーダーシップを確立した分岐点です。

従来オープンモデルの弱点とされてきた数学・プログラミング・非英語多言語の3大領域を克服し、汎用基盤モデルとしての完成度を高めました。

提案の流れは次の要素から成ります。

・環境フィードバック型強化学習（Execution-guided Reinforcement Learning）の全スケールへの適用

・合成データの生成・フィルタリングループによるハルシネーション率の客観的低減

数理設計：アテンション層におけるGQA構成比率 $\frac{H_Q}{H_{KV}} = 8$。RoPE位置埋め込み：$\mathbf{R}_{\Theta, m}^d$ において $\theta_i = 1000000^{-2(i-1)/d}$。事前学習コーパス：18Tトークンの多段階カリキュラム学習（初期段階での広範な汎用知識獲得から、後半段階における高品質コード・数学・推論データのウェイト引き上げ）。強化学習定式化：目的関数 $\max_\theta \mathbb{E}_{(x,y) \sim \mathcal{D}} [R(x,y)] - \beta D_{KL}(\pi_\theta(y|x) \parallel \pi_{ref}(y|x))$。ここで報酬 $R(x,y)$ は人間選好モデルに加え、コードコンパイラ実行結果 $\mathbb{I}(\text{Pass})$ および数学ソルバー検証結果 $\mathbb{I}(\text{Correct})$ を直接報酬シグナルとして統合。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。 データセット、指標、比較対象をそろえて読む必要があります。

・Qwen2.5-72B-Instruct: MMLU 86.8%, MMLU-Pro 71.6%, GPQA Diamond 49.3%, MATH 83.1%

・HumanEval 86.6%, MultiPL-E（複数言語平均）75.8%を達成し、Claude 3.5 SonnetやGPT-4oと並ぶコード生成水準を記録

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・128kトークンコンテキスト長におけるNeedle In A Haystack評価で全レイヤー・全位置100%の正解率を保持

・32BモデルがMMLU 83.3%, MATH 78.4%を記録し、前世代Qwen1.5-72B（MMLU 77.5%）を大きく上回る

・全7モデルサイズ（0.5B〜72B）におけるハイパーパラメータスケーリング則の追跡可能性

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・極小パラメータモデル（0.5B/1.5B）における合成データの暗記・過剰適合（Overfitting）リスク

・高コンテキスト推論時における分散アテンションカーネルの通信同期レイテンシ

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・極小パラメータモデル（0.5B/1.5B）における合成データの暗記・過剰適合（Overfitting）リスク

・高コンテキスト推論時における分散アテンションカーネルの通信同期レイテンシ

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

Qwen2.5は複数の数学・コード・多言語ベンチマークで既存の比較モデルを上回る値を報告しています。この観測から得られる示唆は次の通りです。一つのモデル系列から、計算予算に応じたサイズを選ぶ設計には意味があります。ただし、代替要因は残ります。評価値は著者報告であり、大型モデルには大きな計算資源が必要です。確認すべきなのは、同一条件での再現、ablation、distribution shift下の結果です。