思考の連鎖（Chain-of-Thought）プロンプティングによる大規模言語モデルの推論創発

2022年初頭の自然言語処理では、GPT-3などの大規模言語モデルが活用されていた。これらのモデルは、入力文章に続く単語の確率分布を計算し、次の語を順次予測して文章を生成する。当時の主流はfew-shotプロンプティングであり、追加学習を行わず、少数の「質問と回答」の見本を示して新しい問題に直接答えさせていた。

単純な事実照会であればこの即答形式で対応できた。しかし、複数段階の判断や計算を要する問題では、この枠組みが制約となった。条件を整理し、途中の計算結果を保持しながら進めるべき課題に対し、思考の足場を持たずに直接結果を予測させようとすると、モデルは誤答を頻発させたのである。

この難しさを捉えるため、実務の例として「複数部門への費用配分業務」を考えよう。総経費から各部門の利用比率に応じて按分し、控除額を引いて確定合計額を算出する作業である。

人間がこの業務を行う場合、条件を一読して直ちに合計額だけを書くことは稀である。まず対象額を確認し、部門別の按分を計算し、控除額を引くというように、メモに途中経過を残しながら進める。しかし従来のfew-shotは、「条件提示→確定額」という完成形のみを例示していた。これは業務に例えれば、担当者に計算メモを禁じ、いきなり最終合計額だけを書くよう求めるのに等しかった。

なお、この例は多段階処理の構造を説明するための簡略化した比喩であり、本研究が企業の会計実務を検証したわけではない点に留意が必要である。当時、推論改善には特化型モデルの学習やモデル巨大化に頼っていたが、計算コストやデータ準備の面で大きなボトルネックを抱えていた。

当時の一般的な認識は、「言語モデルは次単語予測を行っているに過ぎず、複雑な論理推論を行うことは原理的に難しい」というものであった。推論性能を高めるにはモデルの重みを更新するか、外部の処理モジュールを組み合わせる必要があると考えられていた。

これに対し、Google Researchの研究チーム（Jason Wei氏、Denny Zhou氏ら）は異なる問いを立てた。モデルのパラメータを書き換えることなく、プロンプトの見本を変更するだけで、潜在的な推論能力を引き出せないだろうか、という着眼である。問題から答えへ跳躍させるのではなく、途中の思考ステップを自然言語で示せば、モデルはその経路をなぞって中間の思考を自ら生成し、正答率を改善できるのではないか。この発想の転換が、思考の連鎖（Chain-of-Thought）プロンプティングの研究の出発点となった。

本論文のブレークスルーは、few-shot見本に中間の推論ステップを明示するという設計変更にある。これが「思考の連鎖（Chain-of-Thought、CoT）プロンプティング」である。

従来のfew-shotが見本を「入力」と「出力」の組で構成していたのに対し、CoTでは見本を「入力」「思考の連鎖（中間の推論ステップ）」「出力」の3連構造にする。費用配分の例で言えば、従来の見本が「問題文→合計負担額は350万円」と直結していたのに対し、CoTの見本は「まず対象総額は500万円である。次にA部門の負担率は40%なので200万円となる。控除の50万円を引くと150万円となり、B部門の200万円と合算すると最終合計は350万円となる」と記述する。

新しい問題を与えられたモデルは、この見本に従って直ちに回答を出すのではなく、まず自ら中間の推論ステップを生成した上で最終回答を導く。指示文で単に説明を求めるのではなく、少数の実例を通じて思考プロセスの展開形式を文脈として与える点が独自であった。

途中の思考を出力させることが、なぜ最終回答の精度向上につながるのか。その理由は、言語モデルの「自ら生成した単語列が次の単語予測の文脈になる」という特性にある。

直接回答を求める場合、モデルは問題文から最終回答を予測する単一ステップの中で推論を完結させなければならない。しかし中間の思考ステップを出力させると、モデルは推論を個別の小さな処理へと分解できる。費用配分の例なら、「総額確認」「按分計算」「控除適用」「合算」という各段階が順次テキスト化される。モデルは直前で出力した数値を次の計算の前提として参照できるため、途中の結果を文脈上に保持しながら推論を進められる。

これは、思考トークンを生成する分だけモデルに追加の計算を割り当て、解空間の探索を整流化している状態といえる。重み更新を行わずに、入出力の表現形式を工夫することで推論能力を引き出したのである。

著者らが示した重要な知見は、CoTの効果がモデル規模に依存して非線形に現れる点である。中間の思考ステップを例示する手法は、あらゆる規模のモデルで一様に効果を示すわけではない。

実験の結果、パラメータ規模が小さなモデル（数十億から百億規模など）では、CoTの見本を与えても正解率は向上せず、不整合な文章を生成して標準的なfew-shotより悪化する場合もあった。小規模モデルは、論理的に一貫した中間ステップを順序立てて生成する能力が不足していたためである。

しかし、パラメータ規模が数千億規模（PaLM 540Bなど）に達すると、顕著な性能向上が突如として確認された。このように規模の拡大に伴って不連続に能力が現れる性質を、著者らは「創発（Emergent Abilities）」と位置づけた。筆頭著者のJason Wei氏は創発的能力の研究を主導しており、CoTは十分に巨大なモデルで初めて開花する潜在能力の解放手法として位置づけられた。

著者らは提案手法の有効性を検証するため、多面的な推論ベンチマークを用いた実験を実施した。評価対象は「算術推論」「常識推論」「記号操作」の3分野にわたる。

算術推論では、小学校レベルの算数文章題を集めたGSM8Kのほか、SVAMP、ASDiv、AQuA、MAWPSの計5課題が用いられた。常識推論ではCSQAやStrategyQA、Sports Understandingが検証された。記号操作としては、コインの表裏を追跡するCoin Flipや、単語末尾文字を連結するLast Letter Concatenationが設定された。

これらの課題に対し、GoogleのPaLM（最大5400億パラメータ）に加え、GPT-3やLaMDAといった複数のモデルファミリーと多様なパラメータ規模を横断して比較が行われた。基準となるベースラインには、中間ステップを含まない従来の標準few-shotが設定され、主要な測定指標としては「最終回答の正解率」が用いられた。

論文で報告された検証結果は、特に大規模モデルにおいて明確な性能差を示した。最も象徴的なのは、PaLM 540BによるGSM8Kでの成績である。従来の標準few-shotにおける正解率が17.9%であったのに対し、CoTプロンプティングでは56.9%に達した。これは39.0パーセントポイントの向上であり、元の17.9%に対する相対比率ではなく、正解率そのものが39ポイント上昇したことを意味する。著者らによれば、この56.9%は比較対象とされたタスク特化型のファインチューニングモデルをも上回る数値であった。

同様の改善は他の算術課題でも報告された。同じPaLM 540Bにおいて、SVAMPでは31.7%から68.9%へ（37.2ポイント増）、ASDivでは49.3%から71.3%へ（22.0ポイント増）と上昇した。

さらにSports Understandingでは54.3%から77.1%へ、Coin Flipでは50.0%から99.3%へと大幅な向上が記録された。これらの結果は、CoTが特定課題への偶然の適合ではなく、論理的推論を要する複数の分野で機能することを示した。

著者らは、CoTの性能向上がどの要素に起因するのかを特定するため、アブレーション実験を実施した。特に焦点となったのが、「中間ステップが自然言語であることの必然性」である。

もし最終回答の前に文字を並べて計算時間を稼ぐだけで十分なら、数式のみを出力させても同じ効果が出るはずである。そこで中間ステップを数式のみとしたプロンプトと比較したところ、GSM8Kの正解率は30%台にとどまり、自然言語を用いたCoT（56.9%）より明確に低い結果となった。この検証は、問題の意味関係を自然言語で記述し整理することが性能向上に関与していることを示している。

また、プロンプト作成者を変えたり問題例を入れ替えたりする頑健性検証でも改善が維持されたと報告された。ただし、この評価が直接示したのは提示条件下での最終回答の正答率向上であり、モデル内部の推論機構が人間と同様の論理性を獲得したことや、現実の業務で万全に機能することを立証したわけではない。

本研究が後続のAI研究に与えた影響は大きい。第一に、プロンプトエンジニアリングの前提が刷新された。指示文の言い回しを工夫して答えを直接求めるのではなく、「モデルにいかにして段階的な推論ステップを踏ませるか」が標準的な設計指針となった。

第二に、著者らの研究系譜から直接的な手法の発展が続いた。共著者であるDenny Zhou氏らは、CoTの成果を基盤として、複数の推論経路をサンプリングして多数決をとる自己一貫性（Self-Consistency）や、複雑な問題を小問題へ分解して解くLeast-to-Most Promptingといった推論手法を開発した。これらはCoTの「中間推論ステップを明示的に扱う」という枠組みを直接継承し、推論の精度と安定性をさらに高めたものである。

技術史の観点から見ると、本論文は現代の推論特化型モデルへと直結する概念の礎を築いた。記録にある通り、本作はNeurIPS 2022で発表され、Hugging Faceで340件の賛成票を集めるなど、推論分野の起点として広く認識されている。

特に重要なのは、CoTが提示した「思考トレース（Thought Trace）」という概念である。プロンプトによって自然言語の中間思考を出力させる着想は、事後学習や強化学習において思考トレース自体を学習対象とする手法へと発展した。現代のReasoningモデル、すなわちOpenAIのo1やDeepSeekのR1などは、推論時に長大な思考プロセスを展開して検証を行いながら解答を導くが、その根底にある「中間思考ステップを出力して推論性能を引き出す」というアプローチは、本論文の研究が切り開いた地平の上に成立している。

ただし、歴史的影響を評価する際には、原著が提示した事実と、後続の研究によって付加された新たな技術を厳格に区別する必要がある。

2022年の原論文が直接検証したのは、事前学習済みモデルに対し、プロンプトの見本に中間ステップを加えることで重みを更新せずに推論精度が向上したという点である。現代の推論モデル（o1やR1など）は、強化学習や探索アルゴリズムなど、原著の発表後に追加された膨大な学習手法とシステム設計の集積によって成り立っている。原著が根本的な基礎概念を築いたことは確かであるが、現代のモデルが持つ高度な能力のすべてを原論文一編のみに帰属させるのは客観的ではない。プロンプトによる推論の引き出しと、学習による推論能力の最適化という技術的境界を明確に捉えるべきである。

現代の実務的な視点から本論文を再検討した際、最も注意すべき限界は、生成される中間ステップにおける「誤りの連鎖」である。

CoTプロンプティングは思考過程を順次文章として生成させるが、基本構造は過去の単語列から次の単語を予測する自己回帰モデルである。そのため、途中の計算や前提の解釈で一度でも誤ると、その誤った記述が後続の文脈として固定されてしまう。モデル自身が誤りに気づいて過去の分岐へ戻り、軌道修正を行う仕組みは備わっていない。

費用配分の例で言えば、もし序盤で「A部門の負担額は200万円」と書くべきところを「300万円」と誤出力した場合、後続のステップはその数値を前提に計算を進めてしまう。結果として、論理展開は極めて流暢であるにもかかわらず、最終的な合計額が完全に誤っているという、見抜けにくい誤答が導かれるリスクがある。

第二の制約は、出力された中間思考ステップの「忠実性」が保証されない点である。CoTによって生成される文章は説得力のある論理に見えるが、それがモデル内部で実際にたどった計算過程を正確に表しているとは限らない。

モデルは単に「もっともらしい説明文」を出力しているだけであり、内部的には別の見かけ上の相関に基づいて答えを決めながら、後付けの理由を整えている可能性が常に残る。したがって、CoTの中間説明を、そのまま会計監査や法的な説明責任を満たす客観的証拠として扱うことはできない。

また、特定ハードウェア環境への依存や極限スケールでの調整の難しさも制約として挙げられる。さらに、長大な中間思考を生成する分だけトークン消費量が増加し、コスト上昇や推論遅延という実務上の負担を伴う点も無視できない。

原著の限界を把握した上で、実務者が引き継ぐべき耐久的な知見とは何だろうか。それは、「言語モデルに複雑な処理を行わせる際は、課題を分解し、中間の足場を文脈上に保持させることが有効である」という設計上の本質である。

一方で、実務への適用にあたって確認すべき証拠は明快である。第一に、自社が扱うモデルと対象タスクにおいて、直接回答よりCoTを用いた方が再現性を持って高い精度を出すかを、実際のデータで検証することである。モデル規模やタスクによっては、CoTの効果が乏しかったり、トークン増加に見合う費用対効果が得られなかったりすることがある。

第二に、提示する見本の質や表現への感度を精査することである。質の低い見本を与えると、出力全体がその粗い思考パターンに引きずられるリスクがある。「途中経過を書かせれば常に正しい」という過信を排し、説明の流暢さと事実の正確性を厳格に区別しながら、タスクごとの投資対効果を見極める姿勢が不可欠である。