Judged Useless, Queried Anyway：エージェントは「役に立たない」という判断を検索停止につなげられるか

検索を使うエージェントは、結果を読んだ後、さらに調べるか回答するかを選ぶ。結果が無用だと分かっていても、次の検索には期待しているかもしれない。あるいは、結果の内容とは関係なく、許された行動を使い切るまで検索しているかもしれない。最終的に正答したという事実だけでは、この違いは見えない。

本論文の焦点は、検索結果を評価する能力そのものより、その評価を停止行動へ反映する能力にある。著者らは、結果の有用性判断、検索を続けた場合と今すぐ答えた場合の成功確率についての自己申告、実際の行動を分けて測る。2026年10月5日付のarXivプレプリントであり、ここで扱う実験結果は著者らの報告である。

関連研究には、検索と回答の境界を学習する方法、情報が十分かを確認する方法、外部の制御器や検索結果の評価器を使う方法などがある。本研究は、それら全体の優劣を競うものではない。エージェント自身が出した「無用」という判断が、その後の行動に結びついているかを問う。

たとえば、無用な結果が続いた後に回答しても、ちょうど期限が来ただけなら、証拠に応じて見切りをつけたとは言えない。無用判定の連続が長くなるほど回答しやすい、という集計にも注意が要る。連続回数が増える間に、時間も進んでいるからだ。そこで著者らは、同じ時点にいるエージェント同士を比べ、見てきた結果の評価履歴だけが異なる場合に、回答確率が変わるかを調べる。

主な課題は質問応答データセットHotpotQAである。各問題に付属する10段落を知識ベースにし、そのうち2段落に答えを支える事実がある。エージェントはReAct形式、つまり推論と行動を交互に進める形式で、検索、ページ内の参照、回答の終了を選ぶ。通常は終了を含めて8行動までで、回答と正解の語の重なりを測るtoken F1が0.6以上なら正答とする。

障害は、検索で得るはずの段落を別問題の段落へ置き換えて作る。したがって、実際の検索サービスの故障を観察した研究ではない。結果が無用になる時点と回復する時点を管理できることが、この実験の強みである。同時に、部分的には役立つ結果、古い情報、誤情報が混じる自然な検索への適用には、この設定との距離が残る。

まず著者らは、最新の結果を有用か無用かと判定させる。この追加の質問で行動が変わるのを避けるため、会話のコピーで判定を取得し、元の行動履歴には戻さない。この別経路の測定が「サイドチャネル判定」である。無介入条件では、記録済みの行動の軌跡を再生して判定を取る。これにより、判断を尋ねながら検索させた結果だけで、通常の振る舞いを説明することを避けている。

介入では、モデルの外側で進行を管理するハーネスが、無用判定の連続数を数える。それ以外の返答があれば連続数をリセットする。5回に達すると検索とページ内参照を利用不可にして、回答を要求する。これが「強制ルール」だ。閾値の5は100問の開発データで選ばれた。モデルが停止を選ぶよう説得するだけでなく、すでに出した判断を外部から行動へ結びつける介入である。

主指標のΔは、同じ数の結果を見た時点での回答確率差である。比較するのは、そこまでの全結果を無用と判定した履歴と、最新結果は無用だが途中には無用以外の判定があり、直近の連続数が短い履歴だ。具体的には結果数が3〜6の時点を使い、後者の連続数は1以上、結果数より少なくとも2少ない場合を対象とする。

時点ごとの差は、時点ごとに分けた比較をまとめるMantel–Haenszel法で統合する。正のΔなら、同じ時点でも無用判定が長く連続した履歴の方が回答しやすい。最終行動は除外し、期限が来たために答えた影響を抑える。この指標が測るのは停止行動の反応であり、回答の正確さではない。また、強制ルールは無用判定の連続で回答を要求するため、正のΔが出ること自体は構成上予想される。介入の価値は成功率でも確かめる必要がある。

比較の基準は、停止に関する介入をしない条件である。そこへ、記憶から答えてよいという許可、残りの行動予算と未回答の失点の説明、文章で書いた5連続停止ルール、呼び出しの価格、連続無用数の表示などを個別に加える。文章による指示とハーネスによる強制を分けることで、判断の提示だけで行動が変わるかも確かめる。価格は実験上の点数であり、実際の金銭費用ではない。

平均成功率のmean6は、無障害、恒常障害、最初の1・2・3観測が失敗してから回復する条件、3観測目から障害になる条件の6つを等重みで平均する。単に恒常障害で早く答えればよいという評価にはしていない。ただし、平均の意味はこの条件の選び方に依存する。主な回復条件では、失敗は最大3観測で終わる。

さらに、無用判定の割合だけを合わせたランダム信号を使う対照を置く。これで、一定頻度で停止を促すだけでも改善するのか、結果に応じた信号のタイミングに価値があるのかを調べる。語彙の重なりを使う簡単な検出器との比較もある。

主な対象はQwen2.5-7B、Llama-3.1-8B、Qwen3-8B、Qwen3-32Bで、主に推論モードを使わない条件で評価する。Claude Haiku 4.5、Claude Sonnet 5、Search-R1、推論モードの条件も追加した。開発100問とtest300は分離し、さらに未使用のHotpotQA 300問であるfresh300と、事実検証データセットFEVERの均衡した292主張で調べた。Sonnetはtest300の最初の100問に限られ、条件も少ない。

差は同じ問題同士を対応づけ、通常2,000回のブートストラップで95%区間を求める。複数モデルの検定には、同じ仮説の中でHolm補正を行う。主分析は生の回答結果で、テンプレート回答の事後修復は感度分析として扱う。Δは初期結果を見た後に定義されており、test300だけでは完全な未見検証ではない。fresh300ではΔを事前登録した主評価項目にしたが、その登録は第三者機関への預託ではなく、追加実験も著者ら自身によるものだ。

著者らによると、記録された条件で失敗結果を無用とする判定率は97〜100%だった。しかし、HotpotQA test300の恒常障害・8行動上限では、自身の5連続無用判定後に回答したのは、Qwen2.5-7Bで該当122問中3問、Llama-3.1-8Bで282問中1問、Qwen3-8Bで292問中1問、Qwen3-32Bで284問中19問だった。無用だという判定と停止の間に、明確な隔たりがある。

同じ時点で比べたΔも、無介入では4モデルすべて負だった。予算説明でも負またはほぼゼロで、強制ルールでは+0.33〜+0.37になった。ただし、文章ルールにも例外的な反応がある。Llama-3.1-8Bでは+0.09、Qwen3-32Bでは+0.08と、部分的な効果が報告された。

無用判定の高さを、万能な自己評価能力と読むこともできない。最初の支持段落を有用とする率はQwen2.5-7Bで57%、他の掲載4モデルで77〜98%だった。Search-R1は実際の結果も89%無用と判定し、判断の妥当性基準を満たさなかった。Sonnetには判定ログの欠落があり、同じ指標を計算できない。

test300の6条件平均では、強制ルールによる成功率の改善は、Qwen2.5-7Bで4.5、Llama-3.1-8Bで6.4、Qwen3-8Bで2.6、Qwen3-32Bで6.3、Haikuで9.7パーセントポイントだった。著者らのHolm補正検定で、これらは有意とされた。Sonnetは100問で2.2ポイント改善したが、95%区間は−0.3〜+5.2ポイントで、有意ではなかった。相対的な改善率ではなく、成功率の差である。

行動上限を8から16へ倍増させると、恒常障害で回答した問題の回答位置中央値は、予算説明を受けた7〜8Bの3モデルすべてで8から16へ移った。強制ルールでは、Llama-3.1-8BとQwen3-8Bは6のままだった。Qwen2.5-7Bは早期回答が多く、中央値は2のままだったため、全モデルが6行動目で止まったわけではない。この対比は、予算に合わせる停止と、無用判定に基づく停止の違いを示す。

fresh300でも、4モデルの平均成功率は3.0〜6.1ポイント改善し、強制ルールのΔは+0.30〜+0.35、無介入のΔはすべて負だった。FEVERでも、同じパラメータを使った3モデルで12.9〜20.1ポイントの改善が報告された。課題を移した確認はあるが、自然な検索障害まで検証したわけではない。

強制ルールは、無用率を合わせたランダム信号による強制ルールより、test300の平均成功率がQwen2.5-7Bで1.1、Llama-3.1-8Bで2.9、Qwen3-8Bで2.1ポイント高かった。著者らは3モデルとも有意と報告している。停止を促す頻度だけでなく、いつ無用と判断するかが効果に寄与したと考えられる。一方、語彙の重なりを使う検出器も探索的比較では同程度だった。高度な自己評価だけが必要だとは言えない。

追加の判定呼び出しを避けるため、通常の思考文から有用性判断を読み取る方法も試した。適用できたLlama-3.1-8B、Qwen3-8B、Qwen3-32Bでは、サイドチャネル方式に近い平均成功率を保った。ただし、判断を十分に明示しないモデルには難しく、Qwen2.5-7Bは適用基準を満たさなかった。停止が発動すると回答の再生成も必要になる。判定呼び出しを加える方式は、それも同価格で数えると効用が下がる。呼び出し数の結果だけで、実費や実時間の削減を断定することはできない。

最も明確な失敗は、最初の5観測が失敗した後に情報源が回復する条件だった。強制ルールは回復直前で検索を止める。この条件で、無介入に対する成功率差はQwen3-8Bで−21.3ポイント、95%区間は−27.3〜−15.3ポイント、Qwen3-32Bで−13.7ポイント、区間は−20.0〜−7.7ポイントだった。主条件に合わせて選んだ閾値が、回復の遅い環境では裏目に出た。

より軽い注意点も残る。回復・無障害条件で、強制ルールが劣らないという検定を通ったのは20件中18件だった。回答の事後修復で一部比較の有意性が変わり、追加反復でも予算説明と強制ルールの組合せが劣らないという確認は一部失敗した。測定した判断は会話のコピーで誘発され、信念は自己申告である。思考文のラベルもLLM注釈と第一著者の裁定によるもので、独立した人間注釈ではない。

適用を考えやすいのは、有用性判断を記録でき、情報源の回復までの時間も評価できる環境だ。それでも、検索を止めた後の回答を別途評価する必要がある。記憶からの回答には古い知識や誤りがあり得る。無用な情報源から離れることと、安全で正しい答えを出すことは、それぞれ確認すべき課題として残る。