ReAct：言語モデルにおける推論（Reasoning）と行動（Acting）の相乗的結合

2022年秋、大規模言語モデルの応用研究は大きく二分されていました。一つはChain-of-Thought（CoT）に代表される「推論」の強化です。途中の思考過程を言語化させることで複雑な問題を解く精度は向上しましたが、参照できるのは学習済みの内部知識に限られていました。記憶に誤りがあれば、どれほど論理的でも架空の事実をもっともらしく語るハルシネーションを自力で防げません。もう一つは、外部環境に対してコマンドを連続発行する「行動（Act-only）」の探求です。しかし、こちらには明示的な思考がないため、「いま何が分かっていて次に何をすべきか」という大局的な計画を保持できず、操作の空振りや堂々巡りに陥りやすい弱点がありました。

ビジネスにおける「競合調査業務」を例に考えます。「競合の企業Aと企業Bの提携内容と、提携先である企業Bの主力事業を調べ、報告書を作成する」という業務を想定します。CoTだけで解かせると、モデルは外部ウェブを検索せず、内部記憶だけで「両社はAI事業で提携したはずだ」と推論を展開し、存在しない事実に基づいた報告書を作る危険があります。一方、Act-onlyで解かせると、モデルは検索画面に「企業A」と入力してクリックしますが、思考の記録を残さないため、現在地を見失って同じ検索を繰り返すなどの迷走が生じます。なお、この調査例は推論と行動の連携を理解するための枠組みであり、実務で求められる社内権限管理や法的妥当性の検証などは論文の実験範囲とは異なります。

プリンストン大学のYao氏らは、「なぜ推論と行動を別々の課題として扱うのか」という問いを立てました。人間が仕事を進める際は、「計画を整理する（思考）」、「不足資料を調べる（行動）」、「内容を確認する（観察）」、「計画を修正する（思考）」というサイクルを自然に回しています。言語モデルでも両者を一つの連続したプロセスの中で交互に働かせれば、思考が行動の目的を見失わせず、行動が外部の事実を持ち帰るという相乗効果が得られるのではないか、という着想でした。

ReAct（Reasoning and Acting）の根本的な特徴は、モデルの入出力履歴の中で「Thought（思考）」「Action（行動）」「Observation（観察）」という3要素を交互に連鎖させる点にあります。Thoughtでは、現状の整理、不足情報の特定、次の行動方針の立案、例外処理を自然言語で記述します。この思考ステップ自体は外部環境を変化させません。続くActionでは、検索やクリックなど、あらかじめ決められた形式の操作コマンドを外部に向けて出力します。そしてObservationとして、環境（検索エンジン等）から返された結果テキストを受け取り、文脈に加えて次のThoughtを更新します。

先ほどの競合調査業務でReActの動きを追ってみます。まずモデルはThought 1として「提携内容を把握するため、企業Aの発表ニュースを検索する」と整理し、Action 1で「search[企業A 提携 企業B]」を実行します。これに対し、Observation 1として「企業Aが企業Bのクラウド基盤を採用して提携」という検索結果が返ります。モデルは即座に回答を作らず、Thought 2で「提携分野はクラウド基盤と判明したが、企業Bの主力製品の詳細が足りない。企業Bのクラウド事業を検索する」と計画を更新し、Action 2で「search[企業B クラウド製品]」を実行します。新たなObservation 2を受け取ると、Thought 3で「必要な根拠が揃った」と判断し、Action 3で最終報告を出力して完了します。思考が行動を導き、行動の観察が次の思考を更新する循環が一続きの履歴として展開されます。

ReActは、事前に一度だけ検索して結果をプロンプトに差し込む「ワンショット検索」とは異なります。最初の一度の検索では、キーワード選定が外れたり途中で新たな疑問が湧いたりした際に対応できません。ReActでは、観察結果が不十分であれば続くThoughtで「目的の情報が見当たらないため別の語で再検索する」と柔軟に軌道修正できます。計画が固定されず、環境の応答に応じて動的に書き換えられる点が大きな違いです。また、すべての思考と行動が履歴に残るため、事後的に判断根拠を追跡しやすい利点もあります。

著者らはReActの有効性を検証するため、2領域・計4つのベンチマークを用いました。知識探索課題として、複数の文書を順にたどるマルチホップ質問応答の「HotpotQA」と、主張の真偽を調べる「FEVER」を採用し、外部ウィキペディア検索と対話させました。対話型意思決定課題としては、家庭内を模したテキスト環境で指示を達成する「ALFWorld」と、多数の商品から条件に合う品を探して購入する「WebShop」を採用しました。比較対象には、思考のみのCoT、行動のみのAct-only、さらに環境課題では模倣学習（IL）や強化学習（RL）の手法が設定されました。

HotpotQAにおける著者らの報告値は、CoTの正解率29.4パーセントに対し、ReAct単体は27.4パーセントでした。ReAct単体はCoTを2.0ポイント下回ったのです。外部検索に依存するReActは、適切な文書にヒットしないと情報不足で失敗しやすいためです。一方、内部知識に頼るCoTはハルシネーションを起こしやすい特徴がありました。そこで両者を組み合わせた手法を試したところ、正解率は35.1パーセントへと向上し、どちらか単体より高い数値を記録しました。FEVERでも、外部検索による検証がCoTのハルシネーションを抑制したと報告されています。

環境との対話が続く意思決定課題では、思考を挟む効果が明確に現れました。ALFWorldにおいて、行動のみを続けるAct-onlyの成功率は45パーセントでしたが、ReActは71パーセントの成功率を達成したと報告されました。現在地や目的を言語で整理することが迷走防止に寄与したとされます。またWebShopでは、模倣学習の平均スコア59.9点、強化学習の51.6点に対し、ReActは少数のプロンプト例（フューショット）のみで66.6点を記録しました。事前の大量学習を行わなくても、プロンプト内で思考と行動を協調させることで学習型手法を上回り得ることが示されました。

実験が直接支えるのは、著者らの限られた評価設定においてReActが良好なスコアを示したという事実です。各課題の指標（正解率、成功率、独自スコア）は尺度が異なり横断比較はできません。またWebShop等で比較された手法とは学習条件や前提が異なるため、性能差がReActの構造だけに起因するかを厳密に切り分けることは困難です。さらに、どのような思考表現がどれだけ寄与したかという構成要素ごとの詳細な切り分けも限られており、あらゆる業務やツール利用で一般に改善が再現されると証明されたわけではありません。

ReActの発表後、提供された記録が明示する最大の影響は、エージェント開発フレームワークである「LangChain」などが、ReActの思考・行動・観察ループを実行コアとして採用したことです。言語モデルにツールを自律的に使わせたい開発者にとって、「Thought → Action → Observation」という簡潔な枠組みは、実装に直結する扱いやすい設計図となりました。初期のフレームワーク群がこのサイクルを組み込んだことで、ReActはツール連携型AIを構築する際の基礎構造として広く定着しました。

概念面では、プロンプトに対して一度だけ回答を出力する「一問一答」から、モデル自身が状況を判断して外部ツールを複数回叩きながら目標を目指す「多段階の自律エージェント」へと関心を移行させました。この対話ループの原型は、後の関数呼び出し機能（Function Calling）やWeb検索統合、さらにはコンピュータ操作エージェントへとつながる潮流の基盤となりました。外部ツールと対話しながら自律的に課題を解く現代エージェントの基本動作は、本研究が示した相互作用の土台の上に形作られています。

ただし、影響を評価する際は記録に裏付けられた事実と後続の進歩を区別すべきです。ReActが提示したのは、少数のプロンプト例で言語モデルにループを促すソフトウェア的な設計でした。これに対し現代のツール利用は、モデル自体が特定の構造化データを確実に出力できるよう事前学習や強化学習で訓練されたネイティブ機能に支えられています。現代の高度なツール利用能力のすべてをReAct単独の功績とするのは過剰であり、本研究が方向づけた概念がその後のモデル改良によって実用化されていったと捉えるのが正確です。

現代の実務的視点で見直すと、外部環境との連携は内部ハルシネーションを減らす一方で、新たな失敗パターンを持ち込みました。一つは「行動のループ」です。検索結果が空であったり意図と異なったりした際、モデルが代替キーワードを思いつけず、似た検索やクリックを繰り返して立ち往生する現象が生じます。もう一つは「誤った観察結果による汚染」です。外部から得たテキストに誤情報が含まれていると、モデルはそれを事実と誤認し、誤った推論をさらに強固に展開してしまいます。

もう一つの制約は履歴の長大化に伴うコストと計算限界です。ステップが進むごとに思考、行動コマンド、環境の応答テキストがプロンプト履歴に積み重なります。探索が長期化すると初期の指示や目的を見失いやすくなります。また、API呼び出し回数が増えるほどトークン消費のコストと応答待ち時間（レイテンシ）が膨らみます。外部システムの通信エラーで処理全体が停止する可用性の問題も残ります。ReActは行動を根拠あるものにする枠組みですが、停止条件や自律回復能力そのものを解決したわけではありません。

競合調査の例に戻れば、ReActのループを導入するだけで業務が自動化できるわけではありません。実務者が確認すべきなのは、定型タスクでの平均成功率ではなく、「検索失敗時に代替手段へ切り替えられるか」「堂々巡りから脱出する停止条件があるか」「外部通信エラー時に例外復旧できるか」といった異常系の耐障害性です。推論で計画を管理し、行動で外部情報を獲得するという相乗効果の視点は今なお有効ですが、実務適用には外部連携に伴う特有のリスクを見極めた検証が欠かせません。