Qwen2.5 技術報告書：コード・数学・長文推論におけるオープン基盤モデルの包括的フロンティア

言語モデルの発展期には、パラメータ数を拡大して性能を高める手法が主流であった。しかし実務現場で単一の巨大モデルのみを運用することは、計算資源やコストの観点から強い制約に直面する。非公開APIへの依存は通信遅延や利用費を招き、端末側での実行も困難になるからである。当時のオープンモデルはサイズ展開が限られ、小型では能力が届かず大型では設備負担が重すぎる二極化が存在した。

ここで社内文書の検索要約、数値計算、スクリプト解説を行う業務を想定する。現場PCで動かしたい作業もあれば、サーバーで分析を行う高度業務もある。全作業を最大モデルで処理すれば予算が破綻し、過度に劣る軽量モデルでは計算誤りやコード不具合が頻発する。モデル規模と計算予算を両立する選択肢の欠如が、実務のボトルネックであった。

当時のモデルが抱えていたもう一つの課題は、日常会話の流暢さと、数学やコード等の厳密な形式的推論能力との乖離であった。一般テキスト中心の事前学習では文章要約や対話に長けていても、論理展開を要する数式導出や、文法規則と実行結果が問われるプログラミングでは誤答を招きやすかった。

さらに仕様書等を扱う長文処理でも制約が顕著であった。入力を長く受け取れるように仕様を拡張しても、文脈が長くなるほど計算メモリが急激に膨張し、途中に埋め込まれた指示や数値を正確に見つけ出せず見落とす検索精度の低下が共通課題となっていた。一般知識だけでなく数学、コード、長大な文脈処理という実用能力群を、破綻なく統合することが強く求められていた。

本稿の議論を追うにあたり、基礎的な概念を整理しておく。「パラメータ」とは学習で調整される内部数値であり、数が多いほど複雑なパターンを蓄積できるが推論時の計算量とメモリ消費も増大する。単位の「B」は10億を意味し、7Bであれば約70億個を示す。「トークン」は文章を分割して処理する最小単位であり、学習データ量や文脈長の基準となる。

「事前学習」は膨大なテキストから言語法則や知識を獲得させる基礎工程である。また長文処理の工夫として「GQA」と呼ばれる注意機構がある。従来の注意機構では文脈が長くなるほど内部状態保持のメモリが過大になったが、GQAは少数のキー・バリュー側ヘッドを共有し、メモリ消費を大幅に抑制する。これらはQwen2.5が効率化を実現した背景の前提知識となる。

Qwen2.5の第一のブレークスルーは、単一モデルの開発に終始せず、0.5B、1.5B、3B、7B、14B、32B、72Bという7段階の規模を同一設計で揃え、CoderとMathの専門モデルを同一系列内に整えたことにある。各規模でSwiGLU、RMSNorm、RoPE、長文処理を支えるGQAといった高効率な構造要素が一貫して採用された。

この設計転換は社内業務の例において直接的な意味を持つ。PC上で検索や仕分けを行う端末側には0.5Bや3Bを配備し、社内サーバーで計算やスクリプト作成を行う業務には7Bや14B、32Bを割り当て、高度なデータ統合や数理分析にはクラウド基盤の72Bを投入するというように、同一の操作感を保ちながら計算予算に応じた階層的システム構築が可能になった。

第二のブレークスルーは、事前学習データの規模と品質における拡張である。事前学習データを最大18兆トークンへ拡大し、29以上の言語を含む多言語テキスト、大量のコード、数理テキストを網羅した。厳格なフィルタリング、重複排除、品質評価を重ねてノイズを排除したと報告されている。

特筆すべきは、高品質な「合成データ」を大規模に導入した点である。高度な数学解法や複雑なコード構造は自然なウェブ文書中では出現頻度が限られるため、モデルを用いて論理的思考を含む多様な問題を自動生成し、厳選と検証を経た合成データを学習セットに組み込んだ。これによりモデル内部で、自然言語だけでなく論理的・数理的な推論パターンの表現密度を高めることに成功した。

第三のブレークスルーは、ポストトレーニングにおいて客観的に成否を判定できる外部信号を活用した点である。指示調整に加え、数学では数式の正しさを検証器で確認し、コードではテスト通過を報酬信号とする強化学習を導入した。主観的好みだけでなく、論理的に合否が定まる領域の判定可能性を学習の推進力としたのである。

社内業務の例で言えば、文章表現の巧拙は主観が分かれやすいが、計算結果や集計スクリプトが正しく動作するかは機械的に即座に検証できる。Qwen2.5はこの検証可能性を推論能力の向上に結びつけた。

ただし、この例が論文内容と一致しなくなる境界を明記しておく。論文が検証したのは学術的ベンチマークや独立した問題、定型検索テストであり、実際の社内業務に存在する例外処理の多い実務環境全体を直接扱ったわけではない。この比喩は機械的正誤信号の役割を説明するためのものにとどまる。

著者らはQwen2.5の性能を立証するため、多岐にわたる学術ベンチマークを用いて定量的評価を実施した。評価領域は、一般知識のMMLUおよびMMLU-Pro、専門知識のGPQA、数学推論のMATHおよびGSM8K、コード生成のHumanEvalおよびEvalPlus、最大128kトークンの文脈で目標情報を探すNeedle In A HaystackやPasskeyリトリーバル等である。

比較対象にはLlama 3.1 70B等の既存オープンモデルが設定された。さらに技術報告書によれば、重要コーディングや推論タスクにおいて、GPT-4o-miniやClaude 3.5 Sonnetといった商用モデルとの比較も言及されている。評価は規模別、専門特化別、文脈長別の多角的な視点から実施された。

著者報告によれば、最大規模のQwen2.5-72B-Instructは高いスコアを記録した。一般知識のMMLUで86.8%を達成し、Llama 3.1 70B（83.6%）に対し3.2パーセントポイントの差をつけた。難問知識のMMLU-Proで71.6%、GPQAで49.3%、数学推論のMATHで83.1%（Llama 3.1 70Bは68.0%）、GSM8Kで91.6%を記録した。コード生成のHumanEvalは86.6%、EvalPlusは81.7%であった。

長文処理では、128kトークンまでのNeedle In A HaystackおよびPasskey検索で全位置100%の回収精度を記録した。

さらに中間規模のQwen2.5-32BはMMLU 83.3%、MATH 78.4%を記録し、前世代Qwen1.5-72BのMMLU 77.5%を上回った。世代更新と学習手法の刷新により、小さな規模でも先行世代の大型モデルを上回りうる実用効率が示された。

この評価結果を客観的に解釈するにあたり、証拠が何を立証し何を立証していないかを区別する必要がある。立証されたのは、特定のプロンプト、データセット、採点手順という実験環境で、各モデルが報告された数値を達成した事実である。数学、コード、長文検索という異なる領域で高い成績が同一系列で示されたことは、総合的な実用性能向上を支持する定量的証拠と言える。

しかし一方で、限界も存在する。全数値は著者報告であり、独立した第三者機関による追試検証が完了したものではない。さらに記録からは、18兆トークン、合成データ、GQA構造、強化学習のそれぞれが、どの程度スコア向上に寄与したかを個別に取り出す除去実験を確認できない。したがって特定要素のみに成果を帰属させる因果関係の主張は、原典の記録からは導けない。

Qwen2.5の公開は、オープンウェイト言語モデルを活用する開発コミュニティに確固たる実務基盤を提供した。記録によれば、Hugging Face Papersで750のアップボートを獲得し、数千万件のダウンロードを記録するなど、世界中の開発環境に広く組み込まれていった。

普及の背景には、0.5Bから72Bに至る包括的なサイズ展開と、CoderやMathといった専門モデルの存在があった。利用者は単一モデルに頼らず、計算機環境や予算に応じて費用対効果の高いサイズを選択してシステムに統合できるようになった。研究用にとどまらず、実際の運用現場を支える実用的な基盤モデル群としての地位を確立したのである。

Qwen2.5の影響の中で特に強く記録されているのが、ローカルAI環境での運用と自律型エージェント開発基盤としての定着である。コミュニティの反響記録には「ローカルAIやエージェント開発においてQwen2.5を使わない日はない」と記され、安定した指示追従と優れたコーディング能力が高く評価された。

エージェント開発では、モデル自身が思考するだけでなく、外部ツールを呼ぶ正確なコードを書き、エラーから自己修復する高いプログラミング精度が不可欠となる。Qwen2.5が提供したコード生成と数学推論の基礎体力は、複雑なワークフローを遂行するエージェント構築において、オープン環境で利用可能な中核エンジンとなった。

ただし歴史的影響の評価においては、記録が裏付ける事実と過度な誇張を冷静に切り分ける必要がある。記録が証明しているのは、Alibaba CloudのQwenチームがQwen-7B/14B/72B、Qwen1.5、Qwen2を経てQwen2.5へと技術を積み重ねてきた系譜と、数千万件のダウンロードや750アップボートという受容シグナル、そして開発環境への実際の浸透である。

今日のあらゆる言語モデルの進化がQwen2.5のみに起因するかのような解釈は記録を超える。またコミュニティで高評価だからといって、あらゆる企業課題が無修正で解決されるわけでもない。Qwen2.5の貢献は、オープンソースLLMにおいて商用モデルに迫るコード・数学・長文推論の到達点を示し、現場の開発者が活用できる選択肢を系列全体で提示した点にある。

現代の視点からQwen2.5の原典を振り返ると、実務運用における明確な限界が浮かび上がる。第一の制約は、大型モデルを動かすために必要なハードウェア資源の物理的な壁である。記録によれば、最大のQwen2.5-72BをFP16精度で推論させるには約144GBものビデオメモリ（VRAM）が必要とされ、4bit量子化を施しても約40GB以上のメモリと複数GPU構成が求められる。これはオンプレミス環境や個人の端末では運用コストのハードルが高い。

一方で、端末上で動作する7B以下の小型モデルにおいては、数学や難解推論タスクでの正答率が大きく低下することが記録されている。72Bモデルの推論能力をそのまま小型モデルに期待することはできず、実用化にはタスク限定や追加チューニングが不可欠となる。

第二の限界は、長文処理の評価内容と実務業務との間に存在する機能的な隔たりである。Qwen2.5は最大128kトークンの文脈に対応し、Needle In A Haystack評価で100%の回収精度を記録した。しかしこの評価は、長大なテキスト内に埋め込まれた一つの特定合言葉を探す単純な情報探索を検証したものである。

実務で直面する長文処理、例えば数十ページの複数契約書を突き合わせて論理矛盾を発見したり、分散した条件記述を統合して判断を導く高度な文脈統合能力までが、検索精度によって保証されるわけではない。

さらに多言語対応でも、29以上の言語が評価されたものの、英語や中国語と低リソース言語との間には依然として性能格差が残る。日本語等において、専門用語や業界固有の表現を含む文脈でどこまで精度が保たれるかは個別検証が必要である。

こうした制約を踏まえた上で、今日なお普遍的な価値を持つのは、「単一モデルの最高性能のみを追うのではなく、同一骨格のもとで計算予算に合わせた系列展開を行う」というシステム設計思想と、「機械的に正誤判定できる外部信号を強化学習に組み込んで形式的推論を鍛え上げる」という手法論である。

今後、オープン基盤モデルの自社導入を検討する実務家が確認すべき証拠は、ベンチマーク順位ではない。第一に、自社の業務データや入力長に近い条件下で同一プロンプトと採点基準による追試が行われているか。第二に、平均正答率だけでなく失敗の種類と発生頻度が業務の許容範囲内か。そして第三に、72Bや32B等の候補サイズについて、運用コストと業務価値が釣り合っているかという費用対効果の検証データである。