DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデル

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性と仕組みを再定義した超巨大MoE

著者らはMMLUで88.5%、MATH-500で90.2%を報告しました。Codeforcesでも比較結果を示しています。これらは論文が設定したモデル、プロンプト、評価条件での著者報告値です。

特定ハードウェアや分散構成に対する依存性

毎回各部分を動かさず、必要な専門部分を選ぶ設計でも、著者らは高い性能を報告しました。異なる設備やデータでも効率と安定性が保たれるなら、モデルの総サイズだけでなく一度に使う部分の大きさも重要になります。ただし、この規模の学習を独立に確かめるのは難しいままです。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

計算資源の大量投入や既存の標準的アプローチに依存していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性と仕組みを再定義した超巨大MoE

大きく3つの進展が組み合わさっています。第1に、AIが過去の文脈を覚えるメモ帳を数十次元にギュッと圧縮する『MLA（Multi-Head Latent Attention）』。第2に、256個の細かな専門家部屋の中から8個を指名し、全員共通の部屋も併用する『DeepSeekMoE』。第3に、計算を粗い8ビットの数値で行いながら精度を落とさない『FP8混合精度学習』です。

著者らは、DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデルにおける顕著な性能向上と計算効率の改善を実証

その評価で著者らは、MMLUで88.5%を記録し、GPT-4o（87.2%）やClaude 3.5 Sonnet（88.3%）と同等以上の実力を支持。数学共通テスト（MATH-500）で90.2%という正解率を叩き出し、理系推論の強さを実証。総学習費用がわずか約557.6万GPU時間（約600万ドル相当）で済んだというコスト効率

報告された性能と費用は、著者らの大規模な学習設備、データ、複数の工夫を組み合わせた条件での結果です。どれか一つの工夫だけで同じ結果になることや、別の設備でも同じ費用になることは確かめられていません。

671Bという極大モデルのため、企業や研究室がフルスペックでホスティングするには専用のクラスタ環境が必要。FP8という低精度フォーマットで安定して学習させるためのノウハウが非常にシビアで職人芸的

特定ハードウェアや分散構成に対する依存性。極限スケールにおけるハイパーパラメータチューニングの難しさ

毎回各部分を動かさず、必要な専門部分を選ぶ設計でも、著者らは高い性能を報告しました。異なる設備やデータでも効率と安定性が保たれるなら、モデルの総サイズだけでなく一度に使う部分の大きさも重要になります。ただし、この規模の学習を独立に確かめるのは難しいままです。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

計算資源の大量投入や既存の標準的アプローチに依存していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性と仕組みを再定義した超巨大MoE

従来のAttentionが各ヘッドごとに膨大なKVキャッシュを保持していたのに対し、MLAでは潜在空間（Latent Space）への低ランク射影を用いてキャッシュを極小化。MoEでは64個の通常エキスパートから8個を選びつつ、1個の共有エキスパート（Shared Expert）が常に基盤知識を担当。学習にはFP8（8ビット浮動小数点数）を採用し、タイリング単位での精密な規模を大きくしたときの変化によってアンダーフローを防ぎました。さらに、GPU間の通信待ち時間をForward/Backwardの計算で覆い隠すDualPipeによってパイプラインバブルを極小化しました。

1. 数理的・アルゴリズム的アプローチの再設計による効率化。2. 入出力および内部状態の表現空間の調整。3. 実装レベルでのメモリ階層や並列化パイプラインの緊密な協調

評価には知識、数学、コードなど複数の共通テストが使われています。モデルごとのプロンプトや採点条件をそろえ、性能値と学習計算量を別々に読む必要があります。

著者らは、MMLU 88.5%、MMLU-Pro 75.9%、MATH-500 90.2%を報告しました。また、14.8兆トークンの学習に278.8万H800 GPU時間を使用し、計算費用を約558万ドルと見積もっています。ベンチマーク値と費用はいずれも論文記載の条件に基づく著者報告です。

著者らは、MMLU 88.5%、MMLU-Pro 75.9%、MATH-500 90.2%を報告しました。また、14.8兆トークンの学習に278.8万H800 GPU時間を使用し、計算費用を約558万ドルと見積もっています。ベンチマーク値と費用はいずれも論文記載の条件に基づく著者報告です。

既存資料で報告された失敗や切り分けの範囲は次の通りです。運用インフラの敷居の高さ：クラスタ全体での高速InfiniBandネットワークと膨大なノード間通信が前提となっており、クラウド環境での再現には分散システム知識が要求される。推論サービングの複雑さ：MLAの高速デコードやFP8 GEMMカーネルの実行には専用の調整推論エンジン（vLLM/SGLang等）の対応が不可欠

報告された効率はMoEやFP8の各要素だけでなく、データ、学習基盤、複数の設計変更の組み合わせによる可能性があります。単一要素の優位性をこの総合比較だけから決めることはできません。

運用インフラの敷居の高さ：クラスタ全体での高速InfiniBandネットワークと膨大なノード間通信が前提となっており、クラウド環境での再現には分散システム知識が要求される。推論サービングの複雑さ：MLAの高速デコードやFP8 GEMMカーネルの実行には専用の調整推論エンジン（vLLM/SGLang等）の対応が不可欠

特定ハードウェアや分散構成に対する依存性。極限スケールにおけるハイパーパラメータチューニングの難しさ

各設計要素が性能と効率へどれだけ寄与したかを独立に再現できるか。異なるハードウェアでも同じ学習安定性が得られるかが残ります。

毎回各部分を動かさず、必要な専門部分を選ぶ設計でも、著者らは高い性能を報告しました。異なる設備やデータでも効率と安定性が保たれるなら、モデルの総サイズだけでなく一度に使う部分の大きさも重要になります。ただし、この規模の学習を独立に確かめるのは難しいままです。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性とアーキテクチャを再定義した超巨大MoE

著者らは、MMLU 88.5%、MMLU-Pro 75.9%、MATH-500 90.2%を報告しました。コード評価ではCodeforcesの51.6パーセンタイルも示しています。いずれも技術報告書のモデル、プロンプト、比較条件に基づく著者報告です。

特定ハードウェアや分散構成に対する依存性

報告された性能と学習効率が他の計算環境でも再現するなら、総パラメータ数より活性パラメータ、専門家の負荷分散、数値精度をまとめて設計する意義があります。ただし、大規模学習条件への依存と独立再現の難しさがあり、各要素の寄与は分けて検証する必要があります。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

計算資源の大量投入や既存の標準的アプローチに依存していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性とアーキテクチャを再定義した超巨大MoE

MLAではアテンションのKey/Valueを低ランク行列 $W^{DKV}$ で圧縮潜在空間 $c_t^{KV}$ に射影。位置情報はRoPE用ベクトルとして分離保持。DeepSeekMoEではエキスパート数を256に細分化し、1つの共有エキスパート＋上位8エキスパートを動的に選択。ルーターの各エキスパートロジットにバイアス項 $b_i$ を動的に加減算することで、損失関数にペナルティ項を加えることなく均等な負荷分散を示しました。

著者らは、DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデルにおける顕著な性能向上と計算効率の改善を実証

その評価で著者らは、総合ベンチマーク（MMLU 88.5%, GSM8K 89.3%, MATH-500 90.2%）でGPT-4oおよびClaude 3.5 Sonnetと互角以上。KVキャッシュサイズが従来のMulti-Head Attention（MHA）の数分の一に激減し、並行推論バッチサイズが向上。14.8Tトークンを学習させる総計算コストがわずか557.6万H800 GPU時間（約600万ドル未満）であることを報告

射程はMoE、負荷分散、FP8などを統合した単一の大規模訓練系における著者報告です。データ、ハードウェア、会計範囲への依存があり、各要素の独立寄与や総費用の一般化は限定されます。

FP8訓練の数値キャリブレーション（ファイングレインタイル単位スケーリング）はNVIDIA Hopper以降のハードウェアに強く依存。モデル展開に最低でも8台以上のH100/H800ノードを要求する高メモリフットプリント

特定ハードウェアや分散構成に対する依存性。極限スケールにおけるハイパーパラメータチューニングの難しさ

報告された性能と学習効率が他の計算環境でも再現するなら、総パラメータ数より活性パラメータ、専門家の負荷分散、数値精度をまとめて設計する意義があります。ただし、大規模学習条件への依存と独立再現の難しさがあり、各要素の寄与は分けて検証する必要があります。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

計算資源の大量投入や既存の標準的アプローチに依存していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性とアーキテクチャを再定義した超巨大MoE

MLA機構：隠れ状態 $h_t \in \mathbb{R}^d$ に対し、圧縮KV潜在ベクトル $c_t^{KV} = W^{DKV} h_t \in \mathbb{R}^{d_c}$、生成時にKVキャッシュとして保持するのはこの $c_t^{KV}$ のみ。クエリ側も同様に $c_t^Q = W^{DQ} h_t$ と圧縮。位置情報用Key $k_t^R = \text{RoPE}(W^{KR} h_t)$ を独立に連結。MoE機構：共有エキスパート $E_{\text{shared}}(u_t)$ と256ルーティングエキスパート群。ゲーティング確率 $s_{i,t} = \text{Softmax}(u_t^T e_i + b_i)$。バイアス $b_i$ はバッチごとの負荷偏りに応じてステップごとに加算更新され、目的関数を直接歪めない。FP8実装：E4M3テンソル積において、ブロック単位（128x128）の動的スケーリングファクタを適用しアンダーフローを防止。DualPipe：計算ノード間のパイプラインにおいて、順伝播と逆伝播を細分化し、PP/EP通信とGEMM演算をオーバーラップ。

1. 数理的・アルゴリズム的アプローチの再設計による効率化。2. 入出力および内部状態の表現空間の最適化。3. 実装レベルでのメモリ階層や並列化パイプラインの緊密な協調

1. 数理的・アルゴリズム的アプローチの再設計による効率化。2. 入出力および内部状態の表現空間の最適化。3. 実装レベルでのメモリ階層や並列化パイプラインの緊密な協調

著者らは、DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデルにおける顕著な性能向上と計算効率の改善を実証

MMLU 88.5%, MMLU-Pro 75.9%, GPQA Diamond 59.1%を記録し、フロンティアモデルと同等の推論性能を達成。MATH-500で90.2%を達成。Codeforces 51.6パーセンタイル、LiveCodeBench 40.5%でプログラミングモデルとしても最上位。訓練インフラにおいて、クラスタ有効FLOPs利用率（MFU）が50%超を維持し、パイプラインバブルをほぼゼロに抑制

その条件で著者らは、MMLU 88.5%, MMLU-Pro 75.9%, GPQA Diamond 59.1%を記録し、フロンティアモデルと同等の推論性能を達成。MATH-500で90.2%を達成。Codeforces 51.6パーセンタイル、LiveCodeBench 40.5%でプログラミングモデルとしても最上位。訓練インフラにおいて、クラスタ有効FLOPs利用率（MFU）が50%超を維持し、パイプラインバブルをほぼゼロに抑制

DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデルにおける顕著な性能向上と計算効率の改善を実証

既存資料で報告された失敗や切り分けの範囲は次の通りです。クロスノードAll-to-All通信の極度な負荷：3.2Tbps以上の高帯域インターコネクト（InfiniBand）がなければDualPipeの恩恵が激減する。非Hopper環境（RTXシリーズや旧型A100）でのFP8 GEMMサポート不足および推論性能の低下

報告された効率はMoEやFP8の各要素だけでなく、データ、学習基盤、複数の設計変更の組み合わせによる可能性があります。単一要素の優位性をこの総合比較だけから決めることはできません。

クロスノードAll-to-All通信の極度な負荷：3.2Tbps以上の高帯域インターコネクト（InfiniBand）がなければDualPipeの恩恵が激減する。非Hopper環境（RTXシリーズや旧型A100）でのFP8 GEMMサポート不足および推論性能の低下

特定ハードウェアや分散構成に対する依存性。極限スケールにおけるハイパーパラメータチューニングの難しさ

各設計要素が性能と効率へどれだけ寄与したかを独立に再現できるか。異なるハードウェアでも同じ学習安定性が得られるかが残ります。

報告された性能と学習効率が他の計算環境でも再現するなら、総パラメータ数より活性パラメータ、専門家の負荷分散、数値精度をまとめて設計する意義があります。ただし、大規模学習条件への依存と独立再現の難しさがあり、各要素の寄与は分けて検証する必要があります。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性とアーキテクチャを再定義した超巨大MoE

著者らはMMLU 88.5%、MMLU-Pro 75.9%、MATH-500 90.2%を報告した。事前学習には278.8万H800 GPU時間を使い、その計算費を557.6万ドルと推計している。この金額は事前学習計算に限定され、データ作成、研究開発、後学習などを含む総費用ではない。

特定ハードウェアや分散構成に対する依存性

MoE、補助損失なしの負荷分散、FP8学習を組み合わせた結果が独立に再現するなら、モデル容量と学習計算量を分離する設計を支持する。ただし、単一の大規模訓練系に複数の変更が同時導入されており、計算環境とデータ条件を越えた各要素の因果的寄与は限定的にしか判断できない。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

計算資源の大量投入や既存の標準的アプローチに依存していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性とアーキテクチャを再定義した超巨大MoE

MLA定式化：$c_t^{KV} = W^{DKV} h_t \in \mathbb{R}^{d_c}$、$k_t^C = W^{UK} c_t^{KV}$、$v_t^C = W^{UV} c_t^{KV}$。$k_t^R = \text{RoPE}(W^{KR} h_t)$ をKeyに結合。キャッシュ保持は $c_t^{KV}$ と $k_t^R$ のみ。MoE層：各トークンに対し $s_{i,t} = \text{Softmax}(u_t^T e_i + b_i)$。バイアス $b_i$ はエキスパート過負荷時に減衰、過小負荷時に増加する動的制御。DualPipe：1ノード内の計算とInfiniBand All-to-Allディスパッチ/コンバイン通信をにオーバーラップさせ、パイプラインバブルを極小化します。

著者らは、DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデルにおける顕著な性能向上と計算効率の改善を実証

その評価で著者らは、MMLU 88.5%, MATH-500 90.2%, HumanEval-Mul 82.6%を記録し、GPT-4oおよびClaude 3.5 Sonnetと同等。KVキャッシュサイズがMHAの約16%に圧縮され、コンテキスト長展開時のメモリ効率を向上。クラスタ全体のMFU（Model FLOPs Utilization）が50%を超える高効率訓練を実証

結果はMoE、auxiliary-loss-free load balancing、multi-token prediction、FP8 trainingを同時導入した特定のtraining stackに対する報告である。factorial ablationと独立再現が不足し、要素別の因果寄与や費用比較の外的妥当性は限られる。

FP8演算における外れ値（Outlier）抑制のため、厳密なタイリング単位キャリブレーションが必須。単一ノード展開が困難であり、最低限8基以上の高帯域GPUクラスタを前提とする点

特定ハードウェアや分散構成に対する依存性。極限スケールにおけるハイパーパラメータチューニングの難しさ

MoE、補助損失なしの負荷分散、FP8学習を組み合わせた結果が独立に再現するなら、モデル容量と学習計算量を分離する設計を支持する。ただし、単一の大規模訓練系に複数の変更が同時導入されており、計算環境とデータ条件を越えた各要素の因果的寄与は限定的にしか判断できない。

従来の技術では計算量、メモリ、または推論・学習効率において重大なボトルネックが存在していた。

計算資源の大量投入や既存の標準的アプローチに依存していた。

わずか557万ドルの事前学習コストでGPT-4o級の性能を達成し、世界のAI開発の経済性とアーキテクチャを再定義した超巨大MoE

MLA代数定式化：アテンションスコア行列 $A_{t,s} = (q_t^C)^T k_s^C + (q_t^R)^T k_s^R$。ここで $q_t^C = W^{UQ} c_t^Q$、$k_s^C = W^{UK} c_s^{KV}$。推論時、行列の結合律より $(q_t^C)^T k_s^C = (c_t^Q)^T (W^{UQ})^T W^{UK} c_s^{KV}$。事前に $W^{Q,K} = (W^{UQ})^T W^{UK}$ を計算・畳み込むことで、KVキャッシュから復元することなく直接潜在ベクトル同士の内積としてアテンションを算出可能。MoEルーティング：目的関数 $\mathcal{L} = \mathcal{L}_{task}$。ルーターバイアス更新規則：$b_i^{(t+1)} = b_i^{(t)} + \gamma \operatorname{sign}(\bar{f} - f_i)$（$\gamma$ はモメンタム係数）。FP8スケーリング：テンソル $X$ に対し $X_{FP8} = \operatorname{clip}(\lfloor X / S \rceil, -448, 448)$。スケールファクタ $S = \max(|X|) / 448$ を128x128ブロック単位で動的計算。MTP損失：メインモデルに加えて $K$ 個の後続トークン予測ヘッドを積み重ね、各深度でのクロスエントロピー損失 $\mathcal{L}_{MTP} = \sum_{k=1}^K \lambda_k \mathcal{L}_{CE}^{(k)}$ を共同最適化。

1. 数理的・アルゴリズム的アプローチの再設計による効率化。2. 入出力および内部状態の表現空間の最適化。3. 実装レベルでのメモリ階層や並列化パイプラインの緊密な協調

1. 数理的・アルゴリズム的アプローチの再設計による効率化。2. 入出力および内部状態の表現空間の最適化。3. 実装レベルでのメモリ階層や並列化パイプラインの緊密な協調

評価は、知識・推論・数学・コードの複数ベンチマークと、学習計算量および長文処理の効率測定を組み合わせています。比較ではMMLU、MMLU-Pro、GPQA、MATH-500、HumanEval、LiveCodeBenchなどを用い、学習側では14.8兆トークン、278.8万H800 GPU時間という著者報告を示します。ただし複数の設計変更を同時に導入しているため、この総合評価だけでは各要素の寄与を分離できません。

著者らはMMLU 88.5%、MMLU-Pro 75.9%、GPQA 59.1%、MATH-500 90.2%、HumanEval 82.6%、LiveCodeBench 40.5%、Codeforces 51.6パーセンタイルを報告した。14.8兆トークンの事前学習には278.8万H800 GPU時間を使い、その計算費を557.6万ドルと推計している。これらは技術報告書の条件における結果で、独立検証済みの値や開発総費用を意味しない。

既存資料で報告された失敗や切り分けの範囲は次の通りです。InfiniBandなどノード間高帯域接続が欠如した環境での性能劣化（DualPipeの通信オーバーラップ破綻）。MTPモジュールによる追加学習メモリの消費（訓練時のメモリオーバーヘッド）

報告された効率はMoEやFP8の各要素だけでなく、データ、学習基盤、複数の設計変更の組み合わせによる可能性があります。単一要素の優位性をこの総合比較だけから決めることはできません。

InfiniBandなどノード間高帯域接続が欠如した環境での性能劣化（DualPipeの通信オーバーラップ破綻）。MTPモジュールによる追加学習メモリの消費（訓練時のメモリオーバーヘッド）

特定ハードウェアや分散構成に対する依存性。極限スケールにおけるハイパーパラメータチューニングの難しさ

各設計要素が性能と効率へどれだけ寄与したかを独立に再現できるか。異なるハードウェアでも同じ学習安定性が得られるかが残ります。

MoE、補助損失なしの負荷分散、FP8学習を組み合わせた結果が独立に再現するなら、モデル容量と学習計算量を分離する設計を支持する。ただし、単一の大規模訓練系に複数の変更が同時導入されており、計算環境とデータ条件を越えた各要素の因果的寄与は限定的にしか判断できない。