DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデル

大規模言語モデルの能力を高める基本は、学習データの拡充とパラメータ数の増大だった。しかし、全パラメータを常に計算に用いる従来型の稠密（Dense）モデルでは、規模拡大に伴い学習と推論の双方で膨大な計算量が必要となる。さらに実用上の重大な障壁となっていたのが、文章を逐次生成する際に過去の文脈情報を保持し続ける「KVキャッシュ」の肥大化である。文脈が長くなり多数の入力を同時に処理しようとすると、GPUの搭載メモリが文脈保持だけで枯渇し、処理効率が著しく制約される問題が生じていた。

この計算量の増大を抑えるアプローチとして注目されたのが、Mixture-of-Experts（MoE）構造である。Denseモデルがすべての入力に対してネットワーク全体を一律に動かすのに対し、MoEは内部を複数の「専門部分（エキスパート）」に分割し、入力トークンごとに必要な一部のみを選択して動作させる。これにより、モデル全体としては膨大な知識を蓄積できる総容量を保ちながら、1トークンを処理する際の実際の計算規模を小さく抑えることが可能になる。

しかし、モデルを専門部分へ分割するだけでは十分な効率化は達成できない。第一に、特定の専門部分ばかりが選ばれる偏りが生じると、選ばれた部分に計算が集中して処理待ちが生じ、使われない部分は学習が進まないという非効率が発生する。第二に、巨大なMoEモデルは複数のGPUサーバーにまたがって配置されるため、トークンを適切な専門部分へ送受信するノード間通信が頻発し、GPUが通信待ちで停止する問題が生じる。計算量を減らすための分業構造が、通信遅延という新たな障壁を生み出していた。

この仕組みを捉えるため、本稿では「総合受付と専門部署群からなる社内業務」を共通の例として用いる。全社で多くの規則を抱えていても、1件の問い合わせに全社員が対応する必要はない。総合受付が案件内容を見て、法務や財務といった関連部署にだけ書類を回せば、会社全体の対応力を維持しつつ作業負担を軽減できる。ただし、この比喩には境界がある。実際の会社と異なり、言語モデルの専門部分は人間的な部署名を持たず、学習過程の数値最適化によって数学的に分担が形成される。また、振り分けは1通の文書単位ではなく、文章を構成するトークンごとに行われる点に注意が必要である。

DeepSeek-V3は、従来のMoEが抱えていた表現の粗さを解消するため、DeepSeekMoEアーキテクチャを採用した。これは専門部分をより細かく分割し、入力トークンごとに多数の小さな専門部分から上位8個を動的に選択する設計である。同時に、どのような入力に対しても必ず計算を行う「共有エキスパート」を配置した。社内組織の例で言えば、専門性が高すぎる大きな部を呼ぶのではなく、小回りの利く小さな専門班を柔軟に組み合わせつつ、全社共通の基本手続きを常時担当する総合窓口を併設した構成といえる。これにより多様な知識の組み合わせを表現しながら、共通処理の重複を避けることが可能となった。

従来のMoEでは、各専門部分の利用頻度を均等にするため、学習の損失関数に「負荷分散のためのペナルティ項（補助損失）」を加えるのが通例だった。しかし、このペナルティはモデルが本来目指すべき言語予測の精度と競合し、性能を損なう要因となり得た。そこでDeepSeek-V3は、損失関数を変更せず、総合受付（ルーター）が各専門部分を選ぶ際に加えるバイアス値を、実際の処理負荷に応じて動的に増減させる仕組みを導入した。仕事が集中している部署は一時的に敷居を高くして選ばれにくくし、手の空いている部署は敷居を下げる。学習目標そのものを歪めずに、実行時の偏りを是正する制御を実現した。

推論時の最大のボトルネックであるKVキャッシュに対しては、Multi-Head Latent Attention（MLA）を適用した。通常のアテンション機構では、過去の文脈トークンごとに完全なKey情報とValue情報を多重のヘッドすべてについて保存するため、文脈が長くなるほどメモリ消費が急増する。MLAでは、この内部状態を一度低次元の潜在ベクトルへと圧縮してメモリに保持し、計算時にのみ必要な表現を復元する。社内業務に例えるなら、過去のやり取りの原本書類をそのまま保管し続けるのではなく、要点を凝縮した符号化記録として保管し、必要なときだけ参照する形態に近い。ただし、MLAは人間向けの要約ではなく、高次元の数値を数学的に低次元空間へ射影している点に本質がある。

モデル構造の工夫に加え、分散計算環境の効率を高める統合が行われた。学習には、数値を8ビットで表現するFP8混合精度を採用し、計算負荷とメモリ帯域の消費を抑制した。表現範囲の狭さに伴う数値の不安定化に対しては、微細なブロック単位で動的に数値を拡大・縮小（スケーリング）する制御を組み込んだ。さらに、GPU間の通信待ちを解消するため、順伝播と逆伝播の計算ステップを細分化し、専門部分へのデータ送受信と並列して実行する「DualPipe」を導入した。計算の合間に通信を走らせることで、通信待ちによるGPUの停止時間を削減した。アーキテクチャ、数値精度、通信が一体となって設計されている。

著者らは提案手法の有効性を検証するため、14.8兆トークンに及ぶデータセットを用いてDeepSeek-V3の事前学習を実施した。計算基盤にはNVIDIA H800 GPUクラスタが使用され、事前学習全体の完了までに投入された計算資源は278.8万GPU時間と報告された。この事前学習に要した直接計算コストは、著者らの試算で約557.6万ドルとされる。事前学習の完了後には、指示追従能力や論理性を整えるための教師あり微調整（SFT）および強化学習（RL）が施された。評価は、知識、推論、数学、コードにわたる多様な学術ベンチマークを通じて行われた。

報告されたベンチマーク結果において、DeepSeek-V3は広範な分野で高いスコアを示した。総合的な知識測定指標であるMMLUでは88.5%、より高度な推論を要求するMMLU-Proでは75.9%、難関知識ベンチマークのGPQA Diamondでは59.1%を記録した。数学的推論ではMATH-500において90.2%を達成した。コーディング分野では、多言語プログラミング評価のHumanEval-Mulで82.6%、実戦的なコード生成を測るLiveCodeBenchで40.5%、競技プログラミングのCodeforces評価では51.6パーセンタイルという成績が報告された。各トークンで全体の約5.5%にあたる370億パラメータしか動かさないスパース構造でありながら、幅広い知的作業において競争力を持つことが示された。

この評価によって実証されたのは、微細粒度MoE、MLA、補助損失を用いない負荷分散、FP8学習、DualPipeを組み合わせたシステムが、著者らの計算環境下において、限られた活性化パラメータ数と公表された計算予算の中で高い性能水準を達成し得たという事実である。しかし、この評価が明らかにできなかった境界もある。社内業務の例で言えば、受付のルール変更、書類圧縮、連絡便の効率化を同時に導入した組織全体の業績向上は確認できたが、個別の施策がそれぞれ何割貢献したかまでは判別できない状況に似ている。提示された成果は全体実験の結果であり、報告された性能向上のうち何割がMLAによるもので、何割が負荷分散やデータの質に起因するのかといった個別要因の寄与度を厳密に分離することはできない。

DeepSeek-V3の構造は、孤立して生まれたものではなく同組織の開発系譜に位置づけられる。先行するDeepSeek-LLM、DeepSeek-Coder、DeepSeek-Mathでの知見を経て、DeepSeek-V2においてMLAとDeepSeekMoEの基本設計が検証された。DeepSeek-V3はそれらを基盤としつつ、補助損失を用いない負荷分散、FP8混合精度学習、DualPipeを統合して大規模スケールへと発展させたものである。この系譜は後続の推論特化モデルDeepSeek-R1へと引き継がれ、社内の窓口分担と圧縮記録という一貫した設計思想のもとで段階的な機能拡張が行われたことが示されている。

本技術報告書の公開は、機械学習コミュニティにおけるモデル設計と開発経済性の議論に明確な変化をもたらした。外部シグナルとして、Hugging Faceにおいて820件のUpvoteを獲得し、Google Scholar上で1500件以上の引用を集めるなど、技術的関心の高まりが記録されている。フロンティア級のモデル構築には数億ドル規模の巨額な計算投資が不可避であると考えられていた通念に対し、アルゴリズムの最適化と通信・数値精度の協調設計によって事前学習の計算費用を数百万ドル規模に抑え得る可能性を示したことは、AI開発におけるシステム効率の重要性を再認識させる契機となった。

技術史を客観的に辿る上では、記録に直接支持されている事実と、推測に過ぎない見解を明確に切り離さなければならない。本報告書の知見（クレームc3）として「効率性と汎用性を両立する現代AIシステムの標準設計の確立」が掲げられているものの、現時点で提供された記録に含まれるのは著者ら自身の主張とコミュニティの反響であり、他組織による追試の成功や、産業界全体における標準規格としての定着が客観的データとして証明されているわけではない。DeepSeek-V3が示した高効率な組織設計が、異なる環境や組織においても普遍的な標準となり得るか否かは、今後の独立した検証に委ねられている。

DeepSeek-V3が示した計算効率は、どのような環境でも再現できる汎用的な性質ではない。本モデルの構造は、NVIDIA H800 GPUと高帯域なクラスタ間ネットワークという特定のハードウェア環境を前提に最適化されている。社内組織の例えで言えば、各フロア間に超高速な専用連絡便が整備されているからこそ分業が円滑に機能するのであり、連絡網が細いオフィスでは連絡待ちで業務が滞ってしまう。MoEにおけるトークンの送受信と計算を重ね合わせるDualPipeの有効性は通信帯域に強く依存しており、インフラが整っていない汎用クラスタや、FP8演算を効率的に実行できない環境では、報告されたような高い稼働効率を維持できない可能性が高い。

「約557.6万ドル（278.8万H800 GPU時間）」という数値の解釈には厳格な注意が必要である。この数字は、最終的な14.8兆トークンの事前学習を実行した際の直接的な計算リソース消費に基づく著者推計に過ぎない。モデルを成功に導くまでに費やされた予備実験の計算量、学習データの収集・フィルタリング・精製にかかったコスト、ハードウェア故障に伴う中断や復旧のオーバーヘッド、さらには研究開発に携わった高度人材の人件費や事後学習（SFT/RL）の費用はここに含まれていない。開発プロジェクト全体の総費用と、単一のクリーンな学習ランの計算費を混同してはならない。

FP8混合精度学習や補助損失を排した動的バイアスによる負荷分散は、運用の繊細さを内包している。微細なブロック単位での動的スケーリングは数値のアンダーフローやオーバーフローを防ぐために厳密な制御を要求し、ルーターのバイアス調整も学習ダイナミクスに予期せぬ揺らぎを与えるリスクを孕む。極限の大規模スケールにおけるハイパーパラメータの調整は難易度が高く、これらの制御手法が異なるモデル規模、異なるデータ分布、あるいは異なる学習フレームワークにおいて同様に安定して機能するかは自明ではない。

様々な限定条件を考慮してもなお、DeepSeek-V3が提示した設計思想には耐久性のある価値がある。それは「総パラメータ数としての知識容量」と「推論時に動かす計算資源」を独立して設計できることを実証した点、そして推論時のメモリ障壁であったKVキャッシュを潜在空間への圧縮（MLA）によって大幅に抑えられることを示した点である。読者が今後注目すべき証拠は三点ある。第一に、異なるハードウェア構成や分散環境において同様の学習効率が再現されるか。第二に、MLAや動的負荷分散といった個別要素を単独で切り出した比較実験によって各手法の純粋な寄与が裏付けられるか。そして第三に、事前学習の直接計算費だけでなく、実運用を含めたライフサイクル全体での費用対効果が実証されるかである。