GPT-3：巨大言語モデルにおけるFew-Shot学習と創発的能力

2020年初頭までの自然言語処理では、BERTやT5に代表される「事前学習＋タスク固有ファインチューニング」が主流でした。まず大量のテキストで言語モデルを事前学習させ、その後に翻訳や分類などの目的タスクごとに数千から数万件の専用ラベル付きデータを用意して、モデル内部の重みパラメータに対して勾配更新（誤差逆伝播による再学習）を行う設計です。

たとえば、社内窓口に届く問い合わせ文を「契約」「請求」「技術」の3つに自動分類する業務を考えます。当時の手法では、過去ログから各カテゴリ数百〜数千件を集めてラベルを付与し、そのデータで重みを更新した専用モデルを個別に作成・管理しなければなりませんでした。

この個別ファインチューニングには大きなボトルネックがありました。タスクごとに数万件規模の正解データを人手で収集・作成するコストは極めて高く、用途ごとに別々の専用モデルを運用・保守するインフラ負荷も膨大でした。

さらに研究者たちが着目したのは、人間との適応様式の乖離です。人間は新しいタスクを与えられたとき、何万件もの見本を反復学習する必要はありません。「この問い合わせを契約・請求・技術に分類してほしい」という指示や、1〜2個の見本を見るだけで即座に対応できます。当時の言語処理システムは高い性能を示しつつも、人間のように指示や少数例から柔軟に適応できず、重みの再学習に依存していました。

ここで本作の前提となる自己回帰型言語モデルの仕組みを確認します。自己回帰型言語モデルとは、先行する単語列（文脈）を手がかりに、次に来る確率が最も高い単語を順番に予測するモデルです。モデル内部には単語の関係性を保持する膨大な数値（パラメータ）が存在し、事前学習では予測誤差を減らすように数値を更新します。

OpenAIのTom B. Brownらのチームは、次のような仮説を立てました。モデル規模を極限まで拡大すれば、タスクごとの重み更新を行わなくても、入力テキスト内に自然言語の指示や少数の例示を与えるだけで、モデル自身が文脈から意図を汲み取って多様なタスクを解けるのではないか。この問いを検証すべく開発されたのが、1750億パラメータを持つ「GPT-3」でした。

本研究の核心的ブレークスルーは、モデルの重みパラメータを一切更新せず、入力プロンプト内の文脈情報だけで未知のタスクに適応する「文脈内学習（In-Context Learning）」を確立した点です。従来の学習が勾配降下法によってモデル内部の数値を書き換えるのに対し、文脈内学習では重みは完全に固定されます。

変化が起きているのは入力テキストの系列内だけです。ユーザーがタスク指示や少数の入出力例を入力すると、モデルはそれを自己回帰の先行文脈として読み込みます。そして、「提示された見本列に続く最も自然なテキストは、対象入力に対する解答である」という確率分布を計算して出力します。課題の仕様を恒久的な重みに焼き付けるのではなく、一時的な入力文脈として与えることで、推論時の次単語予測のまま多様なタスクに対応させたのです。

この仕組みを「社内問い合わせ分類業務」に当てはめてみます。文脈内学習では、以下のようなテキストをプロンプトとして入力します。

「以下の問い合わせを『契約』『請求』『技術』のいずれかに分類してください。

例1: 来期のライセンス更新期日を確認したい -> 契約

例2: 請求書の金額に見積りと相違があります -> 請求

問い合わせ: 社内ポータルへのアクセス時に500エラーが出ます ->」

モデルは重みを変えずに、提示された2つの例から入出力の規則性を読み取り、矢印の直後に続く語として「技術」を出力します。数万件の追加学習なしに、数行のプロンプトだけで即座に分類器として機能したのです。

ただし、この例が論文の研究内容と完全に重なるわけではありません。実際の企業業務では複雑な組織規程や社内DB照会が必要ですが、本研究が検証したのは閉じたテキスト文脈からパターンを読み解く能力であり、組織固有の業務手続き全体の充足までを保証するものではありません。

文脈内学習を成立させるため、著者らは前例のない規模へのスケーリングを実施しました。GPT-3は前作GPT-2と同じ自己回帰型Transformerを相似拡大し、96層、隠れ層次元12288、96ヘッドで構成され、総パラメータ数は1750億に達しました。これは当時の非スパース言語モデルの10倍を超える規模です。

学習データには、Common Crawl、WebText2、Books1/2、Wikipediaからなる約3000億トークンのフィルタリング済みコーパスが使用されました。また、2048トークンの文脈長を効率的に扱うため局所的なバンド型アテンション（Sparse Transformer）を交互に導入し、数千基のGPUクラスタ上でテンソル並列とパイプライン並列を組み合わせた分散学習インフラによって学習が行われました。基本アーキテクチャを変えずに、高品質データと分散並列技術でスケールを押し切ったことが工学的な要でした。

著者らは、モデル規模の拡大が文脈内学習に与える効果を測るため、3つの評価設定を用意しました。指示のみを与える「ゼロショット」、1組の見本を添える「ワンショット」、文脈長（2048トークン）の許す限り複数の見本を並べる「Few-shot」です。すべてのタスクで「重みの勾配更新やファインチューニングを一切行わない」共通条件が守られました。

比較対象には、数千から数万件の専用データでファインチューニングされた当時の最先端（SOTA）モデルが据えられました。重みを更新した専用モデルと、重みを固定したままテキスト指示だけで挑む汎用モデルという非対称な比較ですが、この設定により「追加学習を行わないプロンプト提示が、専用再学習にどこまで迫れるか」が検証されました。

評価結果の中で特に注目されたのが、SuperGLUEおよびLAMBADAベンチマークの成績でした。

言語理解の総合ベンチマークであるSuperGLUEにおいて、GPT-3は重みを更新しないFew-shot設定で71.8点を記録しました。これはタスク専用にファインチューニングされたBERT-Largeの69.0点を上回り、当時のファインチューニングSOTAに匹敵する水準でした。

また、長文の文脈から末尾の単語を予測するLAMBADAにおいて、GPT-3は例示を与えないゼロショットで76%の正解率を達成しました。従来の専用ファインチューニングモデルの最高記録である68%を8パーセントポイント上回る結果です。さらに、小型モデルからの比較実験を通じ、パラメータ数を増やすほどFew-shot性能が一貫して向上するスケーリング傾向が示されました。

著者らは読解や翻訳だけでなく、3桁の加減算、文字を並べ替えた単語の復元（アナグラム）、文脈内で定義された未知語を使った文章作成など、記号的な処理タスクもプロンプトからの文脈学習で高精度に実行できることを実証しました。

しかし、この評価が立証できた範囲には明確な限界があります。立証されたのは、「モデルを1750億まで拡大すると、重み更新なしの少数例提示で多様な言語課題や基礎的記号処理に適応できる」という点です。一方で、普遍的な計算能力や論理的推論力までは立証されていません。4桁以上の複雑な乗算や多段階の論理推論では正解率が落ち、計算ミスや誤答が頻発しました。また、ベンチマークでの高得点は、実務の問い合わせ分類等における完全な正確性を意味するものではありません。

GPT-3がもたらした影響は、「タスクごとに正解データを集めて重みを再学習する」という従来の開発前提を変えた点にあります。重みを固定したままプロンプト内の自然言語指示だけでモデルを動かせるという実証は、開発スタイルを転換させました。エンジニアが専用の勾配計算コードを書く形態から、プロンプトを工夫してタスクを指示する「プロンプトエンジニアリング」という新たな技術領域が誕生したのです。

この先駆的成果により、本研究は国際会議NeurIPS 2020において最優秀論文賞（Best Paper Award）を受賞しました。タスクごとの専用モデル開発から、1つの巨大モデルに対する文脈指示への移行を決定づけるマイルストーンとなりました。

本研究は、モデル規模を拡大することで、明示的に個別学習させていない翻訳、コード生成、計算などの能力が文脈から解けるようになる「創発（Emergence）」の概念を定着させました。パラメータを10倍にスケールさせることで質的な能力向上が得られるという知見は、その後のモデル開発の指針となりました。

本論文が示した1750億パラメータのスケール、自己回帰構造、文脈内学習の仕組みは、後続の生成AIの直接の基盤となりました。記録にある通り、ChatGPT、Claude、Gemini、GitHub Copilotといった現代を代表する基盤モデル群は、本研究が確立した大規模自己回帰モデルとプロンプト指示の枠組みを直接継承して成立しています。

実務における開発手順にも変化が生じました。先ほどの「社内問い合わせ分類」を例にとれば、最初に数万件のデータを集めて学習パイプラインを組む必要はなくなりました。担当者が「契約」「請求」「技術」の代表的な見本を数件添えたプロンプトを書き、APIで即座に動作検証（PoC）を行えるようになったのです。

ただし、これは実務評価が不要になったことを意味しません。数例で動くからこそ、本番業務で求められる厳密な分類精度や例外への堅牢性をどう担保するかという、新たな検証課題が実務側に課されることになりました。

現代の視点から振り返ると、オリジナルのGPT-3には明確な限界がありました。第一の限界は、厳密な論理推論や多段階計算における脆弱性です。3桁の加減算には対応できたものの、4桁以上の複雑な乗算や多段階の論理推論では、致命的な計算ミスやハルシネーション（もっともらしい虚偽の出力）を頻発させました。

問い合わせ分類でも、契約条項と請求履歴を突き合わせて例外規定を判定するような複雑な推論を求められると、自信ありげに誤ったカテゴリや架空の根拠を出力する危険がありました。次単語予測という仕組み上、文章が流暢であっても事実性や論理的整合性が担保されるわけではないという根本課題が浮き彫りとなったのです。

第二の限界は、入出力を合わせた文脈ウィンドウが2048トークンに制限されていた点です。タスクの指示、Few-shotの見本、対象の問い合わせ本文、生成される回答のすべてをこの枠内に収める必要がありました。

このため、分厚い就業規則や契約書を丸ごと読み込ませて判断させるような長文処理は原理的に不可能でした。また、モデルはプロンプトの処理を終えると文脈を忘却するため、セッションを越えて動的な長期記憶を蓄積・更新することもできません。文脈内学習の効力は、「短い文脈ウィンドウに収まる一時的な情報」に限定されていたのです。

第三の限界は、安全性と倫理面、そして計算資源の非対称性です。Common Crawl等の事前学習コーパスにはウェブ上の偏見や有害表現が含まれており、モデルはこれらを統計的に学習して出力に反映させてしまうリスクがありました。本論文の段階では、後年確立されるような対話向けアライメントや安全性調整は施されていませんでした。

さらに、1750億パラメータの学習と推論には数千基のGPUと莫大な電力が必要であり、一般的な研究者が自力で再現実験を行うことは困難でした。現代の視点では、文脈内学習の地平を開いた功績を認めつつも、推論の正確性、長文対応、安全性、計算効率は、後続の別個の研究によって補われていった未解決領域であったと捉えるべきです。