ニューラル言語モデルにおけるスケーリング則：計算量・データ・パラメータのべき乗則

2020年初頭の言語モデル研究における最大の難題は、「計算資源を増やしたとき、どれほどの性能向上が得られるのか」という先行きの不透明さであった。当時、Transformerが普及し始めていたものの、性能向上策は特定規模のモデルにおいて深さや幅、アテンションヘッド数を経験的に微調整する試行錯誤にとどまっていた。

この個別最適化では、手元のモデルをわずかに改善できても、計算予算を10倍や100倍に増やした際の見返りを予測できない。多額の費用を投じて巨大な学習を行っても、完成するまで成果が分からないという構造的リスクがあった。研究者たちは、パラメータ数、データ量、総計算量をどの比率で拡大すれば最も投資効率が高いのかという指針を持てずにいた。

本論文の議論を理解する前提となるのが、言語モデルの「性能」を何で測るかという点である。ビジネスでは業務の質問に対する正解率が関心を集めるが、本論文が一貫して評価指標としたのは、文章中の次の単語（トークン）を予測する際の「クロスエントロピー損失」であった。

クロスエントロピー損失は、正解トークンにどれほど高い確率を与えたかを反映する統計的誤差であり、予測が正確なほど値は小さくなる。この指標の利点は、膨大な文章全体にわたる予測精度を滑らかな連続値として測定できる点にある。個別設問の正否という離散的判定と異なり、わずかな規模拡大に伴う改善傾向を正確に捉えられるため、規模と性能の関係を数理的に検証する共通基準として機能した。

理解を深めるため、実務シナリオを想定してみよう。ある企業のAIチームが、自社マニュアルや問い合わせ履歴を学習させた社内専用モデルを構築するため、一定のクラウド予算を確保したとする。

このときチームは、予算を比較的小さなモデルに投じて社内文書を繰り返し読ませるべきか、それとも巨大なモデルを構築して文書を少ない回数だけ読ませて早期に学習を止めるべきか、という配分のジレンマに直面する。当時の開発現場には、この投資判断を客観的に下す理論が存在しなかった。

ただし留意すべき点として、この社内文書モデルの例は資源配分の考え方を直感的に捉えるための例示であり、論文自体が社内文書処理や個別業務の正答率を検証したわけではない。論文が扱ったのは、一般的な事前学習におけるモデル規模、データ量、計算量と、次の単語予測の損失との基礎的関係である。

本研究のブレークスルーは、個別のモデル構造の優劣を競う手法から脱却し、4桁以上の広大なスケールにわたってモデルの挙動を俯瞰したことにある。著者らは、Transformerデコーダを用い、パラメータ数、学習データ量（トークン数）、総計算量の三つの尺度が、テスト時のクロスエントロピー損失とどう関係するかを系統的に測定した。

その結果、他が妨げにならない限り、損失は三つの尺度のそれぞれに対して滑らかな「べき乗則」に従って低下することが判明した。べき乗則とは、投入資源を一定倍率で増やしたとき、損失が一定の割合で規則的に減少する関係を指す。10倍ごとに目盛られる両対数グラフ上では、測定データが直線を描いて並ぶ。この発見により、言語モデルの性能向上は偶然ではなく、数式によって事前に予測できる工学的対象となった。

この発見に伴うもう一つの重要な転換は、モデルの「形状」に対する認識の変化である。それまでは、層数を増やして縦長にすべきか、幅を広げて横長にすべきかといった形状（アスペクト比）の微調整に多大な労力が費やされていた。

しかし著者らが明らかにしたのは、性能はモデルの形状には弱くしか依存せず、パラメータ総数に強く依存するという事実であった。総パラメータ数が同じであれば、縦長でも幅広でも損失の差はごくわずかである。モデルの挙動を左右するのは内部形状の細かな差異ではなく、パラメータ総数という規模そのものであった。これにより、設計者は些細な形状の最適化から解放され、全体の規模拡大に注力できるようになった。

社内文書モデルの例題に戻ろう。もし開発チームが「モデルを大きくすればよい」と考え、限られた社内文書しかない状態でパラメータ数だけを何倍にも増やしたらどうなるだろうか。

著者らが示したのは、べき乗則が成立する前提となる「ボトルネックの原則」である。損失が滑らかな直線に沿って下がり続けるのは、他の資源が十分に供給されている場合に限られる。データ量が不足していればデータが制約となって改善は止まり、モデルが小さすぎればパラメータ数が制約となって限界を迎える。したがって資源配分とは単一要素の偏重ではなく、ボトルネックを生まないようパラメータ数、データ量、計算量の調和を保ちながら同時に拡大していく設計行為であると位置づけられた。

著者らはこの仮説を検証するため、Transformerデコーダの深さ、幅、ヘッド数を広範囲に変えながら、数百回におよぶ事前学習実験を実施した。検証されたパラメータ規模は、10万から10億という7桁の広大な範囲に達した。

実験では、パラメータ数、学習トークン数、総計算量のそれぞれを単独で変えた際のテスト損失を測定し、べき乗曲線にあてはめた。その結果、全域にわたり一定の傾きを持つべき乗則が確認された。著者報告によると、当てはまりの良さを示す決定係数は0.99を超えていた。これは、観測された損失の変化のうち99パーセント以上が、規模の拡大という規則的な関係によって説明できたことを意味している。

実験から得られたもう一つの重要知見が「サンプル効率」である。パラメータ数の大きなモデルは、小さなモデルに比べて同じ量のデータからより効率的に学習を進められることが確認された。大きなモデルほど、少ないデータ量であっても急速に損失を下げることができる。

この観察から著者らは、限られた予算をどう配分すべきかという「計算最適配分」の結論を導いた。計算量を最も効率よく使って損失を下げるには、「非常に大きなモデルを作り、比較的小さなデータ量を与え、完全な収束を待たずに途中で学習を終了する」という戦略が有利であると主張された。

社内文書モデルの例で言えば、小さなモデルに文書を何度も読ませるのではなく、できる限り大きなモデルを用意し、文書を1周程度読ませた段階で切り上げるのが最適だという提案であった。

この実証が確立したのは、Transformerデコーダにおいて事前学習の損失が規模に対して規則的な相関を持つという事実であった。個別モデルの当て推量や線形外挿に比べ、数桁にわたるべき乗曲線のあてはめは高い予測精度を示した。

一方で、当時の検証には明確な限界も存在した。提供された記録には、データセットの名称や詳細な学習条件が記載されておらず、この記録のみから第三者が同一実験を完全に再現することはできない。また、個別の構成要素を一つずつ省いて影響を測る厳密なアブレーション評価が行われたわけではなく、検証範囲も試行されたモデル群の内側にとどまる。さらに、この検証は次の単語の予測損失を測ったものであり、業務タスクの正答率が同じ規則で向上するかどうかはこの実験からは確認できなかった。

本論文の発表後、AI業界において最も大きく変わったのは、大規模学習に対する投資判断の基準である。それまで莫大なインフラ費用を投じて巨大モデルを学習させることは、失敗時の損失が読めない賭けに近い行為であった。

しかし、本研究がスケーリング則を実証したことにより、巨額の計算資源を集中投資することに客観的根拠が与えられた。開発組織は、まず小規模なモデルで数回の事前学習を行って直線の傾きを求め、それを外挿することで、計算量を10倍、100倍に増やした際に到達できる損失を事前に見積もることが可能になった。巨大モデル開発は、運任せの試みから計算可能な計画投資へと変化したのである。

このスケーリング則の予測精度を裏付ける象徴的な事例が、後続研究において確認された。著者らも関わったOpenAIが、本論文の実験上限（10億）を大きく超える1750億パラメータの巨大モデル「GPT-3」を開発した際のことである。

独立して観測された記録によると、実際に学習されたGPT-3のテスト損失は、本論文が示した理論予測直線の上に一致した。小さな規模の実験から導かれたべき乗則が、はるかに大きな未知の領域でもそのまま成立していたという事実は、スケーリング則が持つ強い予測力と外挿性を裏付ける有力な証拠となった。

本研究が定着させた設計思想は、モデル開発において規模の拡大を最重要視する姿勢である。小手先の構造調整よりも、計算資源とパラメータを増大させることが性能向上の確実な道であるという認識が広がった。

ただし、直接の継承関係と漠然とした類似は区別する必要がある。本論文が立証したのは、Transformerデコーダの言語モデルにおいて事前学習の損失が規模に従うという点である。あらゆる深層学習モデルや実務タスクが規模だけで解決できると証明されたわけではない。後の開発者たちは、この予測可能性を土台にしつつも、損失以外の指標や運用上の制約と向き合うことになった。

本論文の結論の中で、現代の視点から最も大きな修正を受けたのが「計算最適配分」の比率である。著者らは、限られた計算量ではモデルパラメータを優先的に大きくし、データ量は控えめにして早期に学習を切り上げるのが最適だと述べていた。

しかし、後に発表されたHoffmannらによる研究（Chinchilla則）により、本論文は必要な学習データ量を過小評価しており、パラメータ数へ資源を過剰に割り振っていたことが明らかになった。この歪みには、当時の学習率スケジュールの設定方法などが影響していたと整理されている。現在では、計算量を増やす際にはパラメータ数だけでなく、学習データ量も同等の比率で増やさなければならないことが判明している。

社内文書モデルの例で言えば、本論文の初期結論に従って巨大モデルを作り、わずかな社内文書だけで学習を終える方法は、データ不足による非効率を招き、計算資源を浪費する選択であったことになる。

第二の限界は、評価指標であるクロスエントロピー損失と、実際のビジネスで求められるタスク正答率との乖離である。本論文が示したべき乗則は、文章全体の次の単語予測における平均誤差が滑らかに下がるという規則である。しかし、その後の知見によれば、特定の推論問題や質問応答のベンチマーク正答率は、損失のように滑らかには向上しない。

ある能力は、モデル規模が一定基準に達するまで現れず、規模を超えた段階で急激に立ち上がる創発現象のような挙動を見せることがある。逆に、損失が改善していても、業務上致命的な誤りが減らない場合もある。したがって、「スケーリング則があるから、規模を大きくすれば目的の業務タスクも確実に向上する」と解釈するのは早計である。

現代の観点から振り返ると、本論文の最適化には二つの重要な死角があった。一つは、学習時の計算効率のみを追求し、実運用における「推論コスト」を考慮していなかった点である。パラメータ数が過大なモデルは、事前学習が効率的であっても、実運用で回答を生成するたびに多大なメモリと計算時間を要し、運用コストを圧迫する。もう一つは、データを単なるトークン数として扱い、重複やノイズ、品質の違いが与える影響を切り分けれなかった点である。

本研究から今日に残る耐久性のある知見は、「適切な条件下では、規模と予測誤差の間に規則的な関係が存在する」という枠組みそのものである。読者が今日、AI投資や開発の判断を下す際に探すべき証拠は、単一の損失曲線への盲信ではない。自社の対象データ環境で同様の傾向が再現されるか、予測から外れる例外がないか、そして平均損失の改善が真に求める業務タスクの信頼性や推論費用と見合っているかという多角的な検証結果である。