ReAct：言語モデルにおける推論（Reasoning）と行動（Acting）の相乗的結合

AIは頭の中だけで考えると知ったかぶりの嘘（もっともらしい誤り（ハルシネーション））をつき、逆に行動ばかりさせると何のために調べているか見失います。ReActはこの2つを交互に繰り返す知恵を与え、今日の多くのAIエージェントの基本動作を作りました。

『思考（今何が分からないかを整理）』→『行動（検索ワードを入れてGoogle検索）』→『観察（検索結果を読む）』というサイクルをぐるぐる回して正解にたどり着きます。

・推論（Reasoning）と行動（Action）をリアルタイムに交互結合させるプロンプト技法の提唱

著者は、次の共通テストや課題で結果を報告しています。

・難問クイズ（HotpotQA）において、外部検索と連携しながら知ったかぶりの誤答率を大幅に低減

・買い物代行タスク（WebShop）において、人間の行動成功率に迫る高い完了率を達成

・検索結果に目的の情報がない場合、同じような検索を何度も繰り返してループに陥ることがある

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。この結果は、外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。ただし、検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します

大規模言語モデルには『学習していない最新情報は知らない』『推論が複雑になると事実誤認を起こす』という大きな弱点がありました。ReActは、AIが『自問自答しながら外部ツールを使う』という人間の問題解決プロセスをそのままコード化し、現代のAIエージェント（Tool-use LLM）のプロトコルを確立しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

大規模言語モデルには『学習していない最新情報は知らない』『推論が複雑になると事実誤認を起こす』という大きな弱点がありました。ReActは、AIが『自問自答しながら外部ツールを使う』という人間の問題解決プロセスをそのままコード化し、現代のAIエージェント（Tool-use LLM）のプロトコルを確立しました。

・Reasoning（推論トレース）とActing（環境アクション）の相乗的統合フレームワーク

・思考が行動の計画と修正を助け、行動が思考のハルシネーションを是正する相互フィードバック構造

『思考（Thought） → 行動（Action） → 観察（Observation）』の3連ループを実行します。モデルはまず『〇〇を知るために△△を検索しよう』と思考（Thought）を出力し、続いて Search[キーワード] という行動（Action）を呼び出します。システムが外部検索結果を観察（Observation）としてモデルに戻すと、モデルはそれを読んで次の思考へと進みます。

著者は、次の共通テストや課題で結果を報告しています。

・HotpotQAにおいて、CoT（思考のみ）が陥りがちだったハルシネーションを減らし、高い解答精度と追跡可能性を達成

・WebShop（オンラインショッピング環境での商品購入タスク）で、模倣学習や強化学習モデルを上回る購入成功率を記録

著者は、次の共通テストや課題で結果を報告しています。

・思考プロセスがすべて可視化されるため、人間が途中で介入して誤りを修正するヒューマン・イン・ザ・ループ運用が容易

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・知識集約型Q&A（HotpotQA）と対話型意思決定（WebShop, ALFWorld）の両方で有効性を実証

・外部環境（検索APIなど）の応答が遅かったりエラーを起こすと、エージェント全体の処理が停止する

・最大ステップ数を超えても答えが見つからない場合のフォールバック処理が必要

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。同じ傾向が対象の課題でも確認できるなら、外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。判断の前に、検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します

トランスフォーマーを閉じた『自己完結型テキスト生成器』から、外部世界と動的にやり取りする『認知コントローラー（Cognitive Controller）』へと脱皮させた論文です。

大規模言語モデルには『学習していない最新情報は知らない』『推論が複雑になると事実誤認を起こす』という大きな弱点がありました。ReActは、AIが『自問自答しながら外部ツールを使う』という人間の問題解決プロセスをそのままコード化し、現代のAIエージェント（Tool-use LLM）のプロトコルを確立しました。

提案の流れは次の要素から成ります。

・推論と言動の融合：思考単独（CoT）のもっともらしい誤り（ハルシネーション）と、行動単独（Act-only）の盲目的探索という双方の限界を相乗効果で解消

・解釈可能性と信頼性の大きな向上：AIが『なぜその検索をしたのか』『どの情報を見て判断したのか』がテキストとして監査可能

ReActでは、モデルが今わからないことを文章で整理し、検索などの行動を選び、その結果を読んで次の判断へ進みます。考える段階は外部の状態を変えず、行動の段階だけが外部へ働きかけます。

この章では、この設計が各情報をどう結び付けるかに注目します。

知識を探す評価ではHotpotQAとFEVERを使い、検索結果を観察としてモデルへ返しました。環境内で行動する評価ではALFWorldとWebShopを使い、目標達成までの行動列を調べました。少数の見本をプロンプトに置く設定と、追加学習を行う設定が含まれるため、結果は同じ条件どうしで比べる必要があります。

著者は、次の共通テストや課題で結果を報告しています。 データセット、指標、比較対象をそろえて読む必要があります。

・HotpotQAにおいて、CoT単体と比較して事実誤認による誤答が大幅に減少（絶対精度で+5〜8ポイントの向上）

・Fever（事実検証タスク）で高い正解率をマークし、Wikipediaの該当パラグラフを正確に特定して根拠を提示

質問応答では最終回答だけでなく、検索で得た根拠も確認できます。一方、環境内の課題では目標を達成できた割合が中心になるため、二種類の結果を同じ尺度として扱うことはできません。

著者は、次の共通テストや課題で結果を報告しています。

・WebShopタスクにおいて、12,000回以上の強化学習を施したモデルに対し、わずか数例のReActプロンプトで同等以上の成功率を達成

・Few-shot文脈内学習のみで、強化学習による特化モデルを上回る意思決定能力の発現

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・コンテキスト長の消費：思考・行動・観察の履歴が雪だるま式に蓄積され、長大な探索ではコンテキスト上限に達しやすい

・リトライの硬直性：検索結果が空だった場合に、キーワードを柔軟に変えられず同じクエリを再試行するデッドロックの発生

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・コンテキスト長の消費：思考・行動・観察の履歴が雪だるま式に蓄積され、長大な探索ではコンテキスト上限に達しやすい

・リトライの硬直性：検索結果が空だった場合に、キーワードを柔軟に変えられず同じクエリを再試行するデッドロックの発生

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。ここから得られる示唆には追加検証が必要です。外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。一方で、検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します。次に見るべき証拠は、条件を変えた追試と失敗例です。

CoTのハルシネーションとAct-onlyの盲目的探索を同時に解消。外部API（検索等）と連携した高精度な自律タスク遂行を可能にしました。

各ステップで Thought → Action → Observation の系列を動的生成。外部環境からのフィードバックをコンテキストに再帰注入して推論を更新します。

・Reasoningと言動（Action）のインターリーブ実行アーキテクチャの確立

著者報告の結果は次の評価条件に基づきます。

・HotpotQAでCoTより高い回答精度とファクトグラウンディングを実証

・WebShopでのEC購入タスクで模倣学習・RLベースラインを凌駕

・外部APIのレイテンシと通信コストの累積

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。したがって、対象条件が近い場合は、外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。ただし、検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します

既存の資料には、この項目を個別に判断できるだけの記述がありません。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

・思考と行動のデュアル空間における自己回帰的軌跡（Trajectory）生成

・外部知識ベースへのオンデマンドアクセスによるハルシネーションの構造的抑止

エージェント状態遷移：状態 $s_t = (x, a_1, o_1, \dots, a_{t-1}, o_{t-1})$ に対し、ポリシー $\pi(a_t | s_t)$ を展開。ReActでは行動空間 $\mathcal{A} = \mathcal{A}_{env} \cup \mathcal{L}_{thought}$ と拡張。思考 $r_t \in \mathcal{L}_{thought}$ は環境状態を遷移させず、推論トレースとしてコンテキストを更新。行動 $a_t \in \mathcal{A}_{env}$（Search, Lookup, Finish等）が環境APIを駆動し観測 $o_t$ を取得します。

著者報告の結果は次の評価条件に基づきます。

・HotpotQAにおいて、Act-only（25.7%）やCoT（29.4%）に対し、ReAct + CoT統合で35.1%の正解率を達成

・Fever事実検証タスクにおいて、虚偽の主張に対する誤検証率が従来の1/3に激減

著者報告の結果は次の評価条件に基づきます。

・ALFWorldにおいて、目標達成成功率がAct-onlyの45%から71%へと急上昇

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・タスク分解、例外処理、サブゴール適応を自律的にこなすプロンプト設計

・観察トークン（Webページ全文等）の肥大化によるコンテキスト長の圧迫

・検索クエリ生成の失敗時に軌道修正できず誤った確信を強めるリスク

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。この観察が自分のデータと計算条件でも保たれるなら、外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存しますので、同じbaselineとmetricでの比較が前提です。

LLMの創発的文脈理解力を強化学習の外部環境探索（Exploration-Exploitation）と直結させ、ゼロショット/フューショットでの複雑問題解決パイプラインを標準化しました。

既存の資料には、この項目を個別に判断できるだけの記述がありません。

提案の流れは次の要素から成ります。

・自然言語を環境とエージェントの中間インターフェースとする統一認知的アーキテクチャ

・外部観測の取り込みによる内部信念状態（Belief State）の逐次的ベイズ的更新

MDP拡張：タスクを拡張マルコフ決定プロセス $\mathcal{M} = (\mathcal{S}, \mathcal{A}_{ext}, \mathcal{T}, \mathcal{R}, \Omega, \mathcal{O})$ として定義。言語空間 $\mathcal{L}$ を導入し、エージェントのアクション空間を $\hat{\mathcal{A}} = \mathcal{A}_{ext} \cup \mathcal{L}$ と拡張。モデルは軌跡 $\tau = (t_1, a_1, o_1, \dots, t_N, a_N, o_N)$ を自己回帰的に生成。思考 $t_i$ の機能分類：①追跡（Tracking: 目標と現状の差分確認）、②計画（Planning: 次のアクションの選択と引数確定）、③統合（Synthesis: 取得した観察の要約と事実抽出）。推論時制御：Thought-Action-Observationの構文パースとAPIディスパッチャの構成。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

著者報告の結果は次の評価条件に基づきます。 データセット、指標、比較対象をそろえて読む必要があります。

・HotpotQA (Multi-hop QA): ReAct単体でCoTより正確な事実抽出を記録。CoTとの相補的アンサンブル（ReAct → CoTフォールバック）で当時のFew-shot最高精度35.1%を達成

・Fever: 誤り分析において、ハルシネーション起因の失敗がCoT比で56%減少

著者報告の結果は次の評価条件に基づきます。

・WebShop: 人間アノテーション成功率（59.6%）に対し、ReActエージェントが40.0%を達成（模倣学習ベースライン29.3%を大幅超過）

・ALFWorld: 2つの Few-shot例のみで71%の探索成功率を記録し、膨大な強化学習を施した専門エージェントを凌駕

・人間による実行トレースの編集・介入（Human-in-the-loop steering）の透明性

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・エラーリカバリーの局所性：検索キーワードが外れ続けた場合、メタ認知的視点から問題そのものを再定義する能力が不足

・APIコール回数の爆発：マルチホップタスクで10往復以上の通信が発生し、リアルタイム性が低下する課題

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・エラーリカバリーの局所性：検索キーワードが外れ続けた場合、メタ認知的視点から問題そのものを再定義する能力が不足

・APIコール回数の爆発：マルチホップタスクで10往復以上の通信が発生し、リアルタイム性が低下する課題

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。結果から得られる示唆は次の通りです。外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。ただし、この観察だけで因果関係までは確定できません。検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します。再現実験では条件を固定し、分布外データと失敗率を併記すべきです。

知識集約型タスクやインタラクティブな意思決定環境において、内部推論と外部ツール利用の相乗効果によりハルシネーションを抑制しタスク解決能力を向上させました。

思考トレースの生成と外部アクション（検索等）の実行を交互に配置し、観察結果を次の推論コンテキストに再帰フィードバックします。

・推論とアクションの相乗的インターリーブアーキテクチャの定式化

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・HotpotQAでCoTを凌ぐファクト精度とアンサンブル最高性能を記録

・WebShopおよびALFWorldで強化学習モデルを上回る意思決定成功率

・反復探索時のコンテキストウィンドウ枯渇とレイテンシ増加

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。この結果から得られる示唆は次の通りです。外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。ただし、検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します

CoTが抱える『外界との遮断によるハルシネーション』と、Act-onlyが抱える『大局的推論能力の欠如』というトレードオフを同時に解決しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

CoTが抱える『外界との遮断によるハルシネーション』と、Act-onlyが抱える『大局的推論能力の欠如』というトレードオフを同時に解決しました。

・認知科学的知見に基づく推論・行動インターリーブの計算論的モデル化

・外部知識検索と内部ワーキングメモリの協調プロトコル

エージェントの行動空間を環境アクション $\mathcal{A}_{env}$ と内部推論系列 $\mathcal{L}$ の直和として定義。Thought → Action → Observation のループにより、モデルは思考によってサブゴールを策定し、アクションによって外部API（検索・クリック等）を操作し、観測によって自己の信念状態を補正します。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・HotpotQAにおいてCoT単体より誤答率を大幅に抑え、CoTとの組み合わせで35.1%のF1スコアを達成

・Fever事実検証タスクにおいて、証拠文の取得精度と正誤判定の整合性を同時に向上

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・WebShop環境において、わずか数例のIn-context例示でRLベースラインを上回るスコアを獲得

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・マルチホップQAおよび身体性シミュレーション環境における汎用性の実証

・検索エンジンのインデックス品質やAPIの可用性に対する強い依存

・マルチステップ探索時のトークン消費量と実行コストのスケーリング問題

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。このevidenceが同一protocolで再現される範囲では、外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。ただし、検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します。reported setting外への一般化には追加評価が要ります。

大規模言語モデルを推論器（Reasoner）かつ実行器（Actor）として同時に動作させる数学的・手続き的定式化を確立し、エージェントAIの標準パラダイムを創出しました。

CoTが抱える『外界との遮断によるハルシネーション』と、Act-onlyが抱える『大局的推論能力の欠如』というトレードオフを同時に解決しました。

提案の流れは次の要素から成ります。

・MDPの行動空間を言語的内部推論と外部実行アクションの統一空間へ射影する定式化

・思考による探索空間プルーニング（Pruning）と観測による信念グラウンディングの相互作用示し

環境定式化：離散時間MDP $\mathcal{M} = (\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma)$。観測系列 $o_t \in \mathcal{O}$。エージェントのポリシー $\pi_\theta(a_t | h_t)$。ここで履歴 $h_t = (o_0, a_0, \dots, o_{t-1}, a_{t-1})$。ReActは行動空間を $\hat{\mathcal{A}} = \mathcal{A} \cup \mathcal{T}$ と拡張（$\mathcal{T}$ は自然言語思考空間）。思考 $t \in \mathcal{T}$ が選択された場合、環境状態は変化せず（$\mathcal{P}(s | s, t) = 1$）、即時報酬は0（$\mathcal{R}(s, t) = 0$）、観測としてエコーバックされる。実験検証：HotpotQA（マルチホップQA）、Fever（ファクトチェック）、ALFWorld（家庭内具現化タスク）、WebShop（EC検索・購入タスク）の4ベンチマークで比較検証。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。 データセット、指標、比較対象をそろえて読む必要があります。

・HotpotQA: ReAct 27.4% vs CoT 29.4%（ReActはハルシネーションが少ないが検索失敗で取りこぼし）。ReActとCoTのアンサンブルにより35.1%へ跳ね上がり、相補的性質を実証

・Fever: CoTは虚偽主張に対して内部知識で強引に肯定するハルシネーション率が56%あったのに対し、ReActは検索検証により誤謬を大幅低減

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・ALFWorld: Act-only成功率45%に対し、ReActは71%を達成（試行錯誤の無駄打ちを思考によって抑制）

・WebShop: 平均スコアにおいてIL（模倣学習）59.9点、RL 51.6点に対し、ReActは66.6点を記録

・モデルの重み更新を伴わないFew-shotプロンプティングによる高度な強化学習タスクの解法

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・無限ループトラップ：観測 $o_t$ が期待した情報を含まない場合、思考 $t_t$ が適切な代替検索クエリを生成できず同一行動を反復する脆弱性

・長大な軌跡における注意散漫：履歴 $h_t$ が数千トークンに達した際、アテンションが初期のゴールから逸脱する現象

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・無限ループトラップ：観測 $o_t$ が期待した情報を含まない場合、思考 $t_t$ が適切な代替検索クエリを生成できず同一行動を反復する脆弱性

・長大な軌跡における注意散漫：履歴 $h_t$ が数千トークンに達した際、アテンションが初期のゴールから逸脱する現象

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

ReActは質問応答と環境内の意思決定で、思考だけ・行動だけの比較手法を上回る結果を報告しました。この観測から得られる示唆は次の通りです。外部情報が必要な課題では、推論と行動を交互にすることが有力な比較軸になります。ただし、代替要因は残ります。検索失敗や行動ループが起きるため、外部環境の品質と停止条件に依存します。確認すべきなのは、同一条件での再現、ablation、distribution shift下の結果です。