LLaMA：オープンで高効率な基盤言語モデル

2020年代初頭の言語モデル開発では、パラメータ規模の拡大によって性能を引き上げる傾向が続いていた。GPT-3（175B）やPaLM（540B）のように、最先端の言語能力を得るには数千億規模の巨大モデルが必要と考えられていた。しかし、この巨大化は実務運用において深刻な二重の計算負荷を生む。モデルの事前学習は一度完了すれば終了するが、利用者が入力を行う推論は日々の業務で何百万回も反復される。数千億のパラメータを動かすには多数の高価なGPUサーバーが必要となり、一般企業や個人のPC環境でのローカル実行は極めて困難であった。

自社の業務マニュアルを対象とした「社内文書問い合わせシステム」を想定すると、社員からの日常的な問い合わせのたびに計算費用が発生するため、運用期間全体の推論コスト抑制が切実な課題となる。

当時広く参照されていたのが、DeepMindによる「Chinchilla則（計算最適則）」であった。この法則は、一定の事前学習予算のもとで損失を最小化するには、パラメータ数と学習トークン数を等しい比率（概ね1対1）で同時に拡大すべきだと説いていた。しかしChinchilla則が焦点を当てていたのは「学習計算量の最適配分」であり、学習後に繰り返される推論コストの削減は計算の視野に入っていなかった。

加えて、当時のフロンティアモデルの多くは企業独自の非公開データに依存していた。GPT-3やPaLMの詳細な学習データは外部に明かされておらず、外部の開発者や研究者は、モデルの能力や偏見（バイアス）、有害性がどのデータに起因するのかを厳密に調べることができず、研究の客観的な再現やバイアスの安全な検証が妨げられていた。

社内文書問い合わせシステムを検討する企業にとって、外部のクラウドAPIを利用すれば推論基盤の自前構築は回避できるものの、機密文書の社外送信に対するセキュリティ不安や継続的なAPI費用の増大が問題となる。一方、自社の単一GPU環境で安全に小型モデルを稼働させようにも、当時オープンに利用できたモデルの性能は実用には程遠かった。

ただし留意すべき境界がある。この社内文書システムの例は、推論コストとモデル規模のトレードオフを理解するための実務的補助線であり、原論文の著者らが社内文書業務を直接評価したわけではない。論文が直接示したのは、公開ベンチマーク上でパラメータ規模に依存しない性能を実証したことであり、個別業務への適用には文書の専門性や対象言語の差異など、論文の枠組みを超えた慎重な検証が必要となる。

こうした状況に対し、Meta AIの研究チームが提示した中心的なブレークスルーは、「運用時の推論コストを最小化するため、比較的小さなモデルにあえて膨大なデータを投入して過剰に学習させる」という思想転換であった。先行する超大規模モデルに対し、7B、13B、33B、65Bという小型のパラメータ群を設定し、Chinchilla則が推奨する水準を大幅に超える最大1.4兆トークンもの膨大なテキストを投入したのである。

学習段階だけを見れば小さなモデルへの過剰な計算配分（オーバートレーニング）に見えるが、一度学習を終えれば、13Bモデルは175Bモデルに比べて格段に少ないメモリと計算量で推論を実行できる。つまり、学習という初期投資を手厚く行うことで、その後に何千万回と反復される推論のランニングコストを引き下げるという、実用的なトレードオフの成立を実証したことが、LLaMAの革新的な着眼点であった。

LLaMAのもう一つの決定的な特徴は、学習データのすべてを一般にアクセス可能な公開データのみで完結させた点にある。非公開の企業独自データに一切依存せず、CommonCrawlやC4のウェブデータから重複除去とフィルタリングを経てテキストを抽出した。さらにGitHubのコード、Wikipedia、arXiv論文、Books、Stack Exchangeなどを組み合わせ、1.4兆トークンに及ぶ多様な公開学習コーパスを精製した。

これにより、ブラックボックス化していた最先端モデルの学習プロセスをオープンな学術研究の土俵へと引き戻した。第三者の研究者が同じデータ条件をもとにモデルの能力や安全性を客観的に追試できる環境を整えた点に、公開データ選定の大きな意義がある。完全に透明なデータソースから最先端級の性能を達成できることを実証したのである。

LLaMAのモデル本体は標準的なTransformerを土台としつつ、長期の大規模学習を安定させ表現力を引き出すために3つの要素を統合した。第一に、平均値の計算を省き二乗平均平方根のみで入力値を整えるRMSNormを採用して勾配を安定化させ、第二に、中間隠れ層の次元を通常の3分の2（(2/3)*4d）に調整したSwiGLU活性化関数で非線形表現力を向上させた。第三に、全層にRoPE（回転位置埋め込み）を適用し、回転操作によってトークン間の相対的な距離関係を直接把握させた。

さらにFlashAttentionの導入でメモリアクセスを最適化し、学習スループットを極大化させた。論文には各要素単体の寄与を測る個別アブレーション実験はないが、この統合構成により、社内文書システムの例で言えば、単一GPUで安定稼働しうる高度で高効率な基盤が現実のものとなった。

著者らは7B、13B、33B、65Bの4つの規模のLLaMAを、当時の主要モデルであるGPT-3（175B）、Chinchilla（70B）、PaLM（540B）と標準ベンチマーク上で比較した。評価指標には、モデルに入力を与えて正解選択肢を選べた割合を示すベンチマーク正答率を用い、例題を与えないゼロショットや少数の例題を提示するフューショットの条件下でテストを実施した。

この検証の狙いは、公開データのみで学習した小型モデルが、非公開データに依存した数倍から数十倍の規模を持つメガモデルに対して、どれだけ互角に対抗できるかを客観的な数値によって明らかにすることにあった。モデル規模の格差を学習トークン量によって埋められるかが直接の評価課題とされたのである。

評価において特筆すべき結果として著者らが報告したのは、130億パラメータのLLaMA-13Bが示した成績である。BoolQ（ブール値質問応答）、PIQA（物理的常識推論）、SIQA（社会的常識推論）といった主要な自然言語理解ベンチマークの大部分において、LLaMA-13Bは1750億パラメータを持つGPT-3（175B）のスコアを上回ったと報告された。

GPT-3の10分の1未満のパラメータ規模でありながら、1兆トークン以上の学習を経た小型モデルが巨大モデルを凌駕したという事実は、モデル能力の決定因がパラメータ数単体ではなく「パラメータ数と学習トークン量の積」にあることを力強く示す客観的データとなった。社内文書システムの例なら、単一のコンシューマ向けGPUに収まる身軽なサイズで高度な文脈処理が可能になることを意味している。

最大規模のLLaMA-65Bについては、57科目の専門知識を問うMMLUや算数推論のGSM8Kにおいて、Chinchilla-70BやPaLM-540Bと同等以上の総合スコアを達成したと報告された。公開データのみでも適切な設計と1.4兆トークンの学習を行えば、数千億規模のモデルに匹敵しうる推論能力が得られることが示されたのである。

ただし、この評価が立証したのは学術的な静的ベンチマークでの正答率である。選択式の正答率が高いからといって、社内文書の複雑な要約や実務での安全な対話応答が直ちに実現するわけではない。論文の証拠は基盤モデルの潜在能力を示したものであり、特定業務への適合性や対話品質とは明確に区別して評価する必要がある。

LLaMAの公開は、その後のオープンソース言語モデル開発における標準的な設計指針を決定づけた。記録によれば、直接の後継であるLlama 2やLlama 3に加え、Mistral、DeepSeek、Qwenといった代表的なオープン重みモデル群が、LLaMAの提示した「RMSNorm・SwiGLU・RoPE」という骨格と、兆単位のトークンを投入するオーバートレーニング指針を直接の設計標準として継承した。

また人的な系譜としても、共著者の一人であるGuillaume Lample氏がMistral AIを共同創業し、Armand Joulin氏がAppleへ移籍するなど、LLaMAで培われた高効率モデルの実装ノウハウはオープンコミュニティと産業界の双方へと直接受け継がれていった。

LLaMAは、最先端モデルをクラウドAPIの独占から解放し、オンプレミス環境や個人のPCで稼働させるローカルAI市場の端緒を開いた。単一GPUで動く高精度な重みが研究コミュニティに共有されたことで、Hugging Face Papersでも252アップボートを獲得するなど大きな反響を呼んだ。

さらに、公開された基盤モデルを足がかりに、指示追従能力を付加するAlpacaやVicunaといった派生プロジェクトが相次いで誕生した。これにより、巨大テック企業に限定されていた言語モデルの調整や最適化研究が、独立系開発者や大学の研究室へと広く開放され、オープンソースAIエコシステムが急速に形成されることとなった。

ただし歴史的影響の記述においては、記録が支持する事実と過度な一般化を区別しなければならない。記録が裏付けているのは、Llama 2、Llama 3、Mistral、DeepSeek、Qwenなどの特定モデルが、LLaMAのアーキテクチャや学習配分を設計標準として取り入れたという事実である。今日のあらゆるAI製品がLLaMAのみから直接生み出されたと解釈するのは正確ではない。

また「研究の民主化が一気に加速した」というコミュニティの評価も、学術的・技術的な参入障壁が大きく下がったことを指すものであり、全用途で即座に実用化されたことを意味しない。LLaMAの真の貢献は、閉ざされていた高効率基盤モデルの設計図をオープンにし、共通の研究基盤を切り拓いた点にある。

現代の視点からLLaMAの原典を振り返ると、いくつかの明確な限界が存在する。第一の制約は、学習データの約82%が英語に偏っていた点である。この偏りは日本語などの非英語言語を扱う実務において大きな障壁となる。英語中心に作られた語彙辞書では、日本語の単語や漢字が一つのトークンとして認識されず、細かいバイト単位に細切れに分割されてしまう。

その結果、同じ文章を表現するのに英語の何倍ものトークンを消費し、文脈長が圧迫されるとともに推論速度や計算効率が悪化する。社内文書システムの例でも、原典のモデルをそのまま日本語の業務文書の読解に投入した場合、英語と同等の高い精度を期待することは原理的に困難であった。

第二の限界は、公開されたLLaMAが対話や指示追従のための調整が施されていない「純粋なベースモデル」であった点である。現代の業務で使われる対話型AI製品は、ベースモデルに対して指示と回答例を与えるSFTや、人間のフィードバックで出力を調整するRLHFが適用されている。これに対し原典のLLaMAは「次に来る確率の高い単語を予測する」ことのみを学習したモデルである。

そのため「マニュアルを要約して重要事項を箇条書きにせよ」とプロンプトを入力しても、指示に従わず別の文章を勝手に続けたりする挙動を示す。Alpaca等の派生研究が注目されたのはこの隔たりを埋めるためであり、原典の公開単体で対話製品が完成したわけではない。

第三の限界は、当時の評価が学術ベンチマークの正答率を中心としており、ハルシネーションの発生や有害性、実務での安全性までを保証するものではなかった点である。こうした制約を踏まえ、今日でも有効なのは「推論効率を見据えて小さなモデルを過剰に学習させる」という設計思想と、「RMSNorm・SwiGLU・RoPE」というアーキテクチャの骨格である。

現代においてオープンモデルの社内導入を検討する実務家が確認すべき証拠は、過去のベンチマーク順位ではない。日本語で十分な事前学習が行われているか、自社の業務に即した指示追従調整が施されているか、そして実際の問い合わせ負荷のもとで必要な応答速度と運用コストを両立できるかという現場の検証データである。