XConf：過去の類似課題の成績からLLMの確信度を補正する

モデルが「正しいと思う」と言っても、その自信が本当に正解しやすさを表すとは限りません。著者らは、今回の答え方だけでなく、過去の似た課題での実績を使えば、自信をより役立つ数字にできるかを調べました。

XConfは、課題、自信の数字、外から確かめた成否、失敗から得た注意点を記録します。たとえば、似た練習問題で10回中6回しか正解していなければ、今回「9割自信がある」と答えても、その記録を見せて考え直させます。過去の成功率と、考え直した自信を半分ずつ合わせます。

著者らは、考える問題、コード、画像を含む質問、道具を操作する課題を含む9種類で試しました。考える問題などの24比較では、同じ問題に10回答えさせる方法に対し、正誤を見分ける点数で21勝2分1敗でした。自信が最低の1割を除く試みでは、残した回答の正解率が36条件の平均で4.8ポイント上がったと報告しています。

過去の記録には、テストや人の確認など、モデル自身とは別の正しい採点が必要です。短い事実問題では、同じ質問に何回答えて多数決する方が強い場合もあります。

過去の似た仕事を外から正しく採点でき、モデルや仕事の種類があまり変わらないなら、自信の低い答えを再試行や人の確認へ回す目印としてXConfを試せそうです。ただし、自分で自分を採点すると自信を持った間違いまで成功として残り得るため、同じ判断の仕組みが役立つとは限りません。

モデルの自信は、答えをそのまま使うか、もう一度試すか、人へ回すかを決める材料になります。しかし従来の主な方法は、今回の言葉による自己評価、答えを作る途中の数字、同じ質問への複数回答など、現在の答え方だけを見ていました。著者らは、モデルが似た場面で繰り返す過信や失敗を、過去の採点済み経験から取り込めるかを問いました。

従来法には、モデル自身に自信を言わせる方法、各語を選んだときの内部の数字を見る方法、同じ課題に10回答えさせて一致度を見る方法、別の判定役に答えを読ませる方法などがあります。複数回答は短い事実問題では自然ですが、長いコードや操作の手順では、二つの答えが同じ意味か比べにくく、生成回数も増えます。XConfは、今回だけでなく、同じモデルが以前どうだったかを見る点を変えました。

経験バンクには、課題、答えに至る過程、出力、採点前の振り返り、自己申告した自信、外から確かめた成否を保存します。結果が分かった後には、失敗や成功から得た注意点を一度だけ書き加えます。この注意点は最初の振り返りには見せず、未来の結果を先に知ったような記録になるのを防ぎます。

身近な練習帳にたとえると、答える前の手応えと丸付け後の反省を別々に残す形です。ただし、人の勉強法そのものを説明する比喩ではなく、モデルの自信を過去の成績で直す流れだけが似ています。

新しい課題が来ると、まず内容と自己申告の自信が似た過去の記録を50件探し、その成否から歴史的な成功率を出します。次に、特に近い8件を、課題の要約、当時の自信、結果、注意点のカードとしてモデルへ見せます。モデルは「どんな失敗を繰り返しているか」「今回も同じ危険があるか」を考え、自信を言い直します。最後に、過去の成功率と、言い直した自信を同じ重さで平均します。モデル本体を作り直す必要はなく、答えそのものが似ているかも検索には使いません。

著者らは、考える問題4種類、コード1種類、画像などを含む質問1種類、環境を操作する課題3種類の計9種類と、3系列の4モデルで比較しました。各回答の自信を作る際には、その回答自身の結果や同じ試験のまとまりを過去記録から外しました。主に、正解を不正解より高い自信として並べられるかをAUROCで、自信の数字と実際の正解率のずれをECEで調べました。結果は論文著者による報告で、独立した再現結果は示されていません。

考える問題、コード、画像などの24比較では、XConfは10回答の一致を見る方法にAUROCで21勝2分1敗、つまり23比較で勝つか同等でした。コード課題では、XConfのAUROCが0.830から0.887、ECEが0.018から0.062で、10回答を使う方法はそれぞれ0.742から0.804、0.256から0.392でした。操作を伴う3領域の12条件でも、XConfはAUROCが最良または同等でした。

さらに、自信が最低の1割を提供対象から外すと、残した回答の正解率は36条件の平均で4.8ポイント上がり、最大では0.805から0.892へ8.7ポイント上がったと著者らは報告しました。これは相対的に8.7％増えたという意味ではなく、正解率の差が8.7ポイントという意味です。

向いているのは、コードのテスト、環境の点数、人の確認など、モデルから独立した採点が続けて得られ、同じモデルと似た仕事がある程度続く場面です。長い出力や操作手順のように、10回答を比べることが不自然な仕事にも合います。反対に、短い事実回答で多数決が有効な場合や、経験がほとんどない開始直後には利点が小さい可能性があります。

経験をモデル自身に採点させると、自信を持って間違えた例を成功として記録し、成績が崩れました。別モデルの経験を移すと、多くのデータでAUROCが0.03から0.06下がり、別の課題系列への移行では低下の中央値が0.08でした。モデルが学び続けて能力を変える場合、古い経験を忘れる仕組みが必要かもしれませんが、著者らはまだ確かめていません。また「生成費用が10分の1」という比較は主な回答を作る回数の話で、XConfにも記録を数値化する処理と、短い追加の読み直しがあります。

自信が最低の1割を外したときに、残した回答の正解率が平均4.8ポイント上がったという報告は、自信を単なる説明ではなく、確認先を振り分ける目印として使える可能性を示します。練習帳の丸付けのように、外から確かめた結果を同じモデルと似た仕事について蓄積できるなら、採用、再試行、人への確認を分ける試験を設計できそうです。ただし、自分で付けた丸だけでは過信を直せず、仕事やモデルが変われば古い記録も合わなくなります。どの程度の変化まで記録が有効かは、運用ごとに確かめる必要があります。

答えの自信が実際の正しさと合えば、どの回答をそのまま渡し、どれを再試行や人の確認へ回すかを決めやすくなります。しかし、モデルは似た種類の問題で同じ勘違いを繰り返しても、今回の文章だけを見て過信することがあります。著者らは、今回の答え方だけでは足りず、同じモデルが以前の似た課題で本当に成功したかも必要だと考えました。

この考えには前提があります。過去の課題を外から採点できること、採点済みの記録がある程度たまること、過去と現在のモデルや仕事が大きく違わないことです。XConfが出すのは、答えの内容を証明する判定ではなく、採用や確認を分けるための自信の目安です。

従来の方法は、モデルに自信を言わせる、語を選ぶときの内部の数字を読む、同じ質問へ何回答えさせる、別のモデルに判定させる、といった形です。短い事実問題なら、10回答を多数決する方法が強い場合があります。一方、コードや長い操作手順では、別々の回答が同じ意味か比べにくく、何度も作る負担もあります。XConfは現在の回答を詳しく見る代わりに、過去の採点結果を新しい情報として加えます。モデル本体を作り直さず、内部で各語に付けた数字も必要としません。

経験バンクには、過去の課題、答えに至る過程、出力、採点前の振り返り、自己申告の自信、外部の成否を保存します。成否が分かった後には、その経験から得た注意点を一度だけ書きます。採点前の振り返りに、この後から書いた注意点は混ぜません。

練習帳で考えると、問題を解いた直後の「できたと思う」という手応えと、丸付け後の「条件を読み落とした」という反省を別欄に残します。新しい問題では、似たページの正解率と反省を参照します。ただし、XConfは人が理解を深める仕組みを説明するものではありません。記録を使ってモデルの自信を調整する部分だけが、このたとえと対応します。

最初の処理は、今回と近い記録を探して成功率を出すことです。実際の検索では、課題と振り返りの内容、自己申告の自信、答えに至る文章と振り返りの長さを使います。内容を表す多数の数字は30個へまとめ、過去の正誤を見分けるうえで役立つ特徴を強く扱います。ただし、この学習済みの見分け役が直接出した予想を最終値には使いません。近い50件を取り、自信がより近い例を重くして成功率を求めます。

次の処理では、上位8件をカードにします。各カードには課題の要約、当時の自信、成否、結果後の注意点があります。モデルは繰り返す失敗を一文で述べ、今回も当てはまるかを考え、自信を言い直します。最後に、過去の成功率と新しい自己申告を半分ずつ合わせます。答えの文章自体は検索に使いません。

著者らは、考える問題4種類、コード1種類、画像などを含む質問1種類、環境を操作する課題3種類の計9種類を使いました。対象は3系列の4モデルです。採点方法は課題に応じて、文字が一致したか、別の判定役が正しいとしたか、コードがテストを通ったか、環境で目標を達成したかを使いました。

過去を参照する試験では、データを5組に分けて順番に入れ替えました。ある回答の自信を出す際には、その回答自身の課題と結果、同じ試験用の組を銀行から外しました。この分け方は、答えを知ってから自信を付けるような漏れを避けるためです。検索方法を調整する作業は銀行を更新するときに行い、新しい課題へ答えるたびには行いません。

中心の見方はAUROCで、正解へ不正解より高い自信を付けられるかを調べます。ECEは、自信が例えば8割の回答群なら実際にもおよそ8割正しいか、というずれを見ます。著者らはほかの点数も使いましたが、主な主張はこの見分け方とずれに基づきます。

比較相手には、言葉で述べた自信、10回答の一致、別の判定役、過去データから自信を直す複数の方法、訓練済みの正誤判定役が含まれます。難しい問題がたまたまXConfへ有利に集まった可能性を見るため、他の3モデルの正解率で問題の難しさを4段階に固定した比較も行いました。独立した研究者による再現は、与えられた資料にはありません。

考える問題、コード、画像などの24比較では、XConfは10回答を使う方法にAUROCで21勝2分1敗でした。コード課題の4モデルでは、XConfのAUROCは0.830から0.887、ECEは0.018から0.062でした。10回答のコードの似方を使う方法は、AUROCが0.742から0.804、ECEが0.256から0.392でした。操作を伴う3領域、計12条件でも、XConfはAUROCが最良または同等だったと著者らは報告しました。

問題の難しさを固定した比較でも、平均AUROCはXConfが0.788、言葉だけの自己申告が0.736で、36条件中35条件で偶然並みの0.5を超えました。自信が最低の1割を外すと、残した回答の正解率は36条件平均で4.8ポイント上がりました。最大は0.805から0.892への8.7ポイント上昇です。これは割合として8.7％増えたという表現ではなく、二つの正解率の差です。

どの部品が効いたかを確かめる試験では、自己申告の自信を検索と成功率の重み付けの両方から外すと、過去の成功率だけを使う部分の平均AUROCが、考える問題で0.081、操作課題で0.124下がりました。単に似た問題を集めるだけでなく、「そのとき本人がどれほど自信を持っていたか」が過信の型を見つける手掛かりになったという著者らの結果です。

経験バンクを100件から全件へ増やすと、3つの操作領域ではAUROCが上がりました。ある条件では0.628から0.810になりました。一方、約1.2万件で横ばいになった問題群もあり、量を増やせば常に同じ幅で良くなるとは言えません。またScienceWorldでは、過去の成功率だけの方が、失敗を読んで言い直す処理との半々の組み合わせより良く、全領域で同じ混ぜ方を使う代償が示されました。

成績向上が「経験から失敗の型を学んだ」ためではなく、似た問題の難しさを見つけただけという見方もできます。著者らは、他モデルの成績で難しさをそろえた中でもXConfが言葉だけの自信を上回った結果を示し、難しさだけでは説明しきれないと主張します。ただし、この比較も著者ら自身の試験です。

また、失敗や報酬が答えに至る記録へ直接現れる環境では、自信の推定が結果を読み取るだけに近づきます。そのような二つの環境は主要な比較表から外されました。したがって、XConfの強さを、結果がすでに見えている場面の成績で支えるべきではありません。

最大の境界は採点です。モデル自身が過去を成功か失敗か決めると、自信を持った誤答を成功として保存し、性能が崩れました。外部テスト、人の確認、環境の結果などが必要です。開始直後は、とくに少ない側の失敗例がおおむね20件に届くことが制約になりました。

別モデルの経験を同じ課題へ移すと、6データのうち5つでAUROCが0.03から0.06下がりました。別の課題系列へ移す低下の中央値は0.08でした。学習を続けて能力が変わるモデルでは古い経験を忘れたり、新しい経験を重くしたりする必要がありそうですが、まだ試されていません。短い事実検索では10回答の多数決が勝つ場合もあります。

生成費用が10分の1という主張は、主な回答を作る回数の比較です。XConfにも、新しい記録を内容を表す数字へ変える処理と、短い読み直しがあります。したがって、全体の時間や金額が必ず10分の1になるとは、この結果から言えません。

今後確かめるべき点は、能力が変わるモデルでどの経験をいつ忘れるか、少ない記録から安全に始められるか、領域ごとに二つの処理の混ぜ方を変えるべきかです。さらに、外部採点の質がどこまで低くても役立つのか、仕事の分布がどれほど変わると過去の記録が害になるのかも残ります。選択的に回答を外す用途では、正解率の上昇だけでなく、外した1割に重要なケースが偏らないかを利用場面ごとに調べる必要がありますが、この点の詳しい結果は示されていません。

最低自信の1割を外した後に正解率が平均4.8ポイント上がったという観察は、XConfを「モデルが正しいと証明する道具」ではなく、「どこへ確認の手間を向けるかを決める道具」として見る理由になります。外部のテストや人の確認が継続し、同じモデルと似た仕事が続くなら、採用、再試行、人への委任を分ける試験に使えるかもしれません。しかし、自分で付けた成否は過信を増幅し得ます。別モデルへの移行や能力の変化でも経験の価値は下がります。したがって次に問うべきなのは、一つの良い点数ではなく、採点の独立性、経験の古さ、外した回答の性質を監視した上で判断が本当に改善するかです。

言語化された確信度、トークン確率、再サンプリングは、いずれも現在の推論過程を主な情報源とする。著者らは、モデル固有の反復的な過信や失敗を捉えるには、外部採点された過去エピソードも必要ではないかと問う。

XConfのRecallは、課題と採点前反省が似ており、自己申告確信度も近い過去50件から歴史的成功率を得る。Reflectは上位8件の結果とlessonをモデルに提示し、再発し得る失敗を特定させて確信度を再申告させる。最終確信度は両者の等重み平均である。重み更新、ロジット、回答文字列の埋め込みは不要である。

9ベンチマーク、3系列4モデルの著者評価では、推論・コード・マルチモーダルの24比較中、XConfはSC@10にAUROCで21勝2分1敗だった。エージェント3領域の12セルでも最良または同等だった。最低確信度10%を棄却すると、残存集合の正解率は36セル平均で4.8ポイント、最大8.7ポイント上昇した。

経験バンクにはモデルの自己判断から独立した結果ラベルが必要で、自己生成ラベルでは性能が崩れた。短い投票可能な事実検索ではself-consistencyが勝つ場合がある。また、回答生成回数が10分の1という比較には、埋め込み処理と短いReflect呼び出しが含まれていない。

選択的予測で報告された正解率上昇は、安定したactorと課題分布、独立した採点履歴があるなら、確信度を採用・再試行・委任のルーティング信号として評価する根拠になる。ただし自己生成ラベルは誤った過信を履歴へ固定し得るため、導入判断は推定器単体のAUROCではなく、採点経路を含む運用全体で検証すべきである。

既存の確信度推定は、言語化された自己評価、トークン尤度、複数サンプルの一致、現在のロールアウトを読む判定器など、現在の推論に情報を限定しがちである。著者らの問いは、同一モデルが類似課題で示した実際の成否を条件に加えることで、反復的な過信を検出し、正答確率の推定を改善できるかである。推定対象は、課題と生成済み回答が与えられたときに正答である確率である。

比較対象は、言語化確信度、SC@10、semantic entropy、P(True)、単一ロールアウトを読むLLM judge、Platt・isotonic・histogramによる較正、conformal prediction、訓練済みverifierである。尤度法にはロジットアクセス、self-consistencyには複数生成と比較可能な出力、学習型推定器には更新可能なパラメータや再学習が必要になり得る。XConfはブラックボックス性を保ちつつ、現在の推論ではなく時間をまたぐ採点履歴を追加情報源にする。

各経験は、課題、推論またはロールアウト、出力、採点前の反省、自己申告確信度、外部評価ラベルから成る。結果判明後にlessonを一度だけ生成するが、これは採点前反省から隔離する。新規課題では、その時点より前に採点済みの経験のみを銀行に置く。

Recallは類似した課題と反省に加え、自己申告確信度が近い経験を検索し、外部ラベルの局所成功率を返す。Reflectは具体的な履歴から反復的失敗を言語化し、現在の課題への該当性を判断して確信度を更新する。両出力の算術平均が最終値となる。

検索特徴は、課題埋め込み、採点前反省の埋め込み、自己申告確信度、推論長、反省長である。埋め込みは学習fold内で各30次元へPCA縮約され、全特徴を標準化する。L2正則化ロジスティックprobeの係数絶対値で距離空間を再重み付けするが、probeの予測値そのものは使わない。この分離により、probeは近傍の定義を学ぶだけで、最終確率を直接支配しない。

再重み付け空間で50近傍を取得し、幅0.08の確信度カーネルによってラベルを重み付けする。Reflectには上位8件を、課題要約、当時の確信度、結果、lessonのカードとして渡す。モデルは共通する失敗を一文で抽出し、現在も同じ失敗にさらされるかを判断する。モデル重みと回答文字列は検索に使わない。

評価範囲は推論4、コード1、マルチモーダルQA1、対話型エージェント3の計9ベンチマーク、3系列4モデルである。正誤ラベルはexact match、LLM verifier、unit tests、環境スコアを課題に応じて用いる。5-fold rotationにより、各推定時に自身の課題・結果と同一評価foldを銀行から除外する。

識別は主にAUROC、較正はECEで測り、AURCとBrier scoreも評価された。AUROCは閾値に依存せず正答を誤答より上位に置く能力を測る一方、ECEは数値としての確率が観測頻度と合うかを見る。選択的予測では最低確信度10%を棄却し、残存集合の正解率を棄却前と比較した。

推論・コード・マルチモーダルの24モデル×データセット比較で、XConfはSC@10に対してAUROCで21勝2分1敗、計23件で勝利または同等だった。LiveCodeBenchの4モデルでは、XConfのAUROCが0.830〜0.887、ECEが0.018〜0.062で、コード類似度を用いるSC@10はAUROC 0.742〜0.804、ECE 0.256〜0.392だった。

ScienceWorld、AppWorld、SWE-bench Verifiedの12セルでは、言語化確信度、LLM judge、訓練済みverifierとの比較でAUROCが全セル最良または同等だった。最低確信度10%の棄却後、残存集合の正解率は36セル平均で4.8ポイント上昇し、最大は0.805から0.892への8.7ポイント上昇だった。これらはすべて著者報告である。

適合しやすいのは、unit tests、環境スコア、人手確認など、actorの自己評価から独立した結果が継続的に得られる環境である。同一actorと比較的安定した課題分布の下で履歴を再利用でき、長文、コード、マルチモーダル出力、エージェント軌跡のように10生成の一致を定義しにくい用途が候補となる。確信度は回答の採用、再試行、追加検証、人間への委任を振り分ける補助信号として位置付けられる。

自己生成ラベルは、確信を持った誤答を成功として記録し得るため性能が崩れ、独立した採点信号が必要だった。短い投票可能な事実検索ではself-consistencyが強い場合があり、主要比較の唯一の敗北もその種のセルだった。別モデルの銀行への移行では6データセット中5つでAUROCが0.03〜0.06低下し、異なるタスク系列への移行コスト中央値は0.08だった。

能力が変化するactorでは古い履歴への忘却や時間重み付けが必要になり得るが未検証である。コールドスタートでは少数クラス、概して約20件の失敗例が制約となった。さらに生成コスト10分の1は回答生成回数の比較であり、埋め込み往復と短いReflect呼び出しは別に存在する。

最低確信度10%の棄却で残存正解率が平均4.8ポイント上昇した結果は、確信度を順位指標として眺めるだけでなく、検証資源の配分へ接続する可能性を示す。外部ラベルが継続し、actorと分布が安定するなら、採用・再試行・委任の方針をXConfで比較評価する価値がある。ただし、自己生成ラベルは過信を自己強化し、能力ドリフトは履歴の条件を変える。したがって有効性は、AUROCだけでなく、ラベル独立性、棄却後性能、分布変化時の劣化を含む運用単位で判断すべきである。

対象は、課題と生成済み回答を条件として、その回答が正しい確率を推定する問題である。著者らは、現在の推論過程だけでは、actorが類似課題で反復する過信や系統的失敗を捉えきれないと仮定する。そこで同じactorの採点履歴を、現在の自己申告を補正する経験的事前情報として用いる。

この設定は三つの条件に依存する。第一に、成否ラベルがactorの自己判断から独立していること。第二に、失敗を含む近傍が検索空間を学べる程度に蓄積していること。第三に、過去と現在でactorの能力状態と課題分布が大きく変化していないことだ。XConfは回答の意味的正当性を検証するものではなく、正誤を分離し確率を較正する推定器である。

既存群は、言語化確信度、トークン尤度、SC@10、semantic entropy、P(True)、単一ロールアウトを読むLLM judge、事後較正、conformal prediction、訓練済みverifierを含む。これらはアクセス要件が異なるが、著者らは現在の推論を主情報源にする点が共通すると整理する。

self-consistencyは短く投票可能な回答では強いが、コードや長い軌跡では一致の定義が難しく、10生成を要する。尤度法はロジットを必要とし、学習型verifierは重み更新や対象分布での学習を要し得る。XConfの研究上の位置は、ブラックボックス性を維持しながら、時間方向に蓄積された同一actorの成否を明示的に条件へ加える点にある。

エピソードは課題、推論またはロールアウト、出力、採点前反省、自己申告確信度、外部評価結果で構成される。結果判明後にlessonを一度だけ生成して保存するが、未採点の反省には提示しない。これにより、結果後の情報が初期確信度へ漏れる経路を分離する。

新規エピソードでは、Recallが課題内容、反省、自己申告確信度などから50近傍を検索し、外部ラベルの局所成功率を計算する。Reflectは上位8件を読み、反復する失敗モードと現在課題への適用可能性を言語化して確信度を再申告する。最終値は両者の算術平均である。PCAとprobeのfitは銀行更新時の償却処理で、照会ごとの経路ではない。

推定対象は、課題を $x$、生成済み回答を $a$、正答ラベルを $y$ として、次の条件付き確率である。

ここで $y=1$ は外部評価で正答とされたことを表す。XConfはこの値を、現在の生成だけでなく、過去の採点済みエピソードを参照して近似する。

検索特徴は課題埋め込み、反省埋め込み、自己申告確信度、推論長、反省長である。各埋め込みは学習fold内で30次元PCAへ縮約し、特徴を標準化する。L2正則化ロジスティックprobeを正誤ラベルで学習し、その係数絶対値により各座標の距離寄与を再重み付けする。probeの出力確率は推定値として使わず、検索幾何だけを形成する。

再重み付け空間の50近傍へ幅 $\sigma=0.08$ の確信度カーネルを適用し、自己申告値が近い例ほど外部ラベルを強く数える。Reflectカードには課題要約、当時の確信度、結果、lessonを含める。回答文字列の埋め込みとモデル重み更新は行わない。

評価は推論4、コード1、マルチモーダルQA1、対話型エージェント3の計9ベンチマーク、3モデル系列の4モデルを対象とする。課題ごとの結果ラベルはexact match、LLM verifier、unit tests、環境スコアから得る。XConfと比較法には、言語化確信度、SC@10、semantic entropy、P(True)、LLM judge、各種較正法、conformal prediction、訓練済みverifierが含まれる。

5-fold rotationでは、各推定値を作る際に、そのエピソード自身の課題と結果、および同一評価foldを銀行から除外する。PCA、probe、検索キーの構成も学習foldに限定される。したがって、評価対象の結果を直接検索する漏れは設計上排除される。ただし、すべての結果は著者らの単一研究内の評価であり、独立再現ではない。

AUROCは閾値に依存しない正誤識別を測り、ECEは確信度の数値と観測正解率の整合を測る。AURCとBrier scoreも用いられた。主比較では推論・コード・マルチモーダルの4モデル×6データセット、計24セルでSC@10との勝敗をpaired bootstrapにより判定する。エージェントでは3領域×4モデルの12セルで単一ロールアウト型の比較法と比べる。

選択的予測では、最低確信度10%を棄却し、残る90%の正解率を元の集合と比較する。この指標は「全回答の能力が向上した」ことではなく、低確信度例を別経路へ送った後の提供集合の品質を測る。さらに、他の3モデルの正解率で問題難度を4層に固定し、同一難度層内で正誤ペアを比較することで、単なる問題難度推定という説明を検討した。

推論・コード・マルチモーダルの24セルで、XConfはSC@10にAUROCで21勝2分1敗、23セルで勝利または同等だった。LiveCodeBenchでは、XConfのAUROCが4モデルで0.830〜0.887、ECEが0.018〜0.062であり、コード類似度によるSC@10はAUROC 0.742〜0.804、ECE 0.256〜0.392だった。

ScienceWorld、AppWorld、SWE-bench Verifiedの12セルでは、言語化確信度、LLM judge、訓練済みHTC verifierに対し、AUROCが全セルで最良または同等だった。難度層内比較では、XConfの平均AUROCは0.788、言語化確信度は0.736で、36セル中35セルが0.5を超えた。

最低確信度10%の棄却により、残存集合の正解率は36セル平均で4.8ポイント上昇し、最大はAppWorldの一条件で0.805から0.892への8.7ポイント上昇だった。これらの数値は相対改善率ではなく正解率のポイント差として報告されている。

自己申告確信度を検索特徴とカーネルの双方から除くと、Recallの平均AUROCは推論系で0.822から0.741へ、エージェント系で0.852から0.728へ低下した。これは、内容類似性だけでなく、同程度の自己申告に対して過去の成否を条件付ける設計が寄与したことを示す著者内アブレーションである。

銀行を100件から全件へ増やすと全エージェント領域でAUROCが上昇し、AppWorldの一条件では0.628から0.810になった。MMLU-Proは約1.2万件で横ばいだった一方、BBEHとエージェント領域は全件時点でも上昇中だった。経験量への応答は領域で異なる。

ScienceWorldではRecall単独がAUROC 0.945〜0.976、ECE 0.010〜0.011で、等重みblendより両指標で良かった。固定された等重みは領域別調整を避ける単純性と引き換えに、局所的な最良性能を失う。

XConfが捉えているのはactor固有の失敗モードではなく、検索された課題の一般的難度にすぎない可能性がある。難度層内AUROCが言語化確信度を上回った結果はこの説明を弱めるが、完全に排除する独立実験ではない。他モデルの銀行を同一課題へ移すと6データセット中5つでAUROCが0.03〜0.06低下し、actor固有性を支持する一方、履歴の再利用性が限定されることも示す。

ALFWorldとWebShopでは失敗や報酬が軌跡内に露出し、事後確信度推定がラベル読み取りに近づくため主要表から除外された。この除外は妥当な比較境界を示すが、環境フィードバックが部分的に見える実運用で何を確信度推定と呼ぶべきかは残る。

経験バンクにはactorの自己判断から独立したラベルが必要である。自己生成ラベルは自信を持った誤答を成功として保存し、性能が崩れた。独立だが弱いLLM judgeでは価値の多くが残ったものの、外部再現ではない。コールドスタートでは少数クラス、概して約20件の失敗例が検索キー学習の制約になった。

別タスク系列への移行コスト中央値はAUROC 0.08であり、分布移行に無条件で頑健ではない。自己改善するactorでは履歴が過去の能力状態を表すため、忘却や時間重み付けが必要になり得るが未検証である。短い事実検索ではSCが強い場合もある。

コストの10分の1は回答生成回数に関する比較である。11,999件の銀行では埋め込み中央値570ms、CPU検索0.20ms、p95 0.25msと報告されたが、短いReflect呼び出しは別途必要である。したがって総遅延や金銭費用の同率削減は主張されていない。

未解決なのは、actorの能力変化を検出して履歴を忘却・再重み付けする規則、少数失敗例しかない初期段階の安全な代替、領域ごとのRecall・Reflect重みの選択である。独立graderの誤差が検索空間と確率推定へどう伝播するか、ラベル品質の最低条件も体系的には示されていない。

選択的予測の実用評価では、残存正解率だけでなく、棄却例の構成、再試行や人間委任後の最終結果、分布変化下の安定性を測る必要がある。これらの運用結果は本研究の報告範囲外であるため、XConfの高いAUROCをそのまま意思決定改善と同一視することはできない。

最低確信度10%の棄却で残存正解率が平均4.8ポイント上がったことは、XConfを検証資源のルーティングへ接続する具体的な観測根拠になる。独立ラベルが反復的に得られ、actorと課題分布が安定するなら、採用・再試行・人間委任を分ける補助信号として比較試験する価値がある。一方、自己生成ラベルは過信を循環させ、actor移行や能力ドリフトは経験の条件付き関係を壊す。次の判断基準は単体AUROCではなく、ラベル生成、履歴更新、棄却後処理まで含めた方針が最終的な正答提供を改善するかである。

言語化確信度、尤度、整合性ベース推定が共有する「現在の推論だけを読む」という前提を外し、同一actorの検証済み経験が正答確率推定を改善するかを検証する。

経験バンクは課題、推論、出力、採点前反省、自己申告確信度、外部結果、結果後のlessonを保持する。Recallは50近傍の成功率、Reflectは上位8例を踏まえた再申告値を返し、最終値は両者の平均となる。重み更新、ロジット、回答埋め込みは不要である。

9ベンチマーク、4モデルの著者評価で、推論・コード・マルチモーダルの24比較中、SC@10にAUROCで21勝2分1敗だった。エージェント12セルでも最良または同等で、最低確信度10%の棄却は残存正解率を36セル平均4.8ポイント、最大8.7ポイント上げた。

独立した結果ラベルが必要で、自己生成ラベルでは性能が崩れた。短い投票可能な事実検索ではSCが優位な場合がある。生成コスト10分の1は回答生成回数の比較であり、埋め込みと短いReflect呼び出しは別に存在する。

報告された選択的予測の改善は、独立ラベルが継続しactorと分布が安定する条件では、XConfを採用・再試行・委任のルーティング信号として検証する根拠になる。ただし自己生成ラベルは過信を固定し得るため、推定性能だけでなくラベル経路を含む方針全体で評価すべきである。

本研究は、確信度推定の情報集合を現在の推論から過去の採点済み経験へ拡張する。推定対象は、課題 $x$ と生成回答 $a$ が与えられた条件下の正答確率である。

ここで $y$ は外部評価による二値結果である。中心仮説は、actor固有の反復的失敗が類似エピソードの履歴に現れ、現在の自己申告を較正できるというものだ。

比較対象はverbalized confidence、SC@10、semantic entropy、P(True)、単一ロールアウトLLM judge、Platt・isotonic・histogram calibration、conformal prediction、訓練済みverifierである。尤度法はロジット、整合性法は複数生成と比較可能な出力、学習型手法は更新可能な重みや再学習を要求し得る。XConfはブラックボックスアクセスのまま、現在の推論とは異なる縦断的情報を利用する。

エピソードは課題、推論またはロールアウト、出力、採点前反省、自己申告確信度、外部結果から成り、結果判明後にlessonを一度生成する。lessonは採点前反省から隔離され、銀行には当該時点より前の採点済み例だけを置く。

Recallは内容と自己申告確信度が近い履歴の成功率を推定する。Reflectは検索例の課題要約、当時の確信度、結果、lessonから反復的失敗モードを同定し、現在の確信度を再申告する。両値を等重みでblendする。

検索キーは課題埋め込み、反省埋め込み、自己申告確信度、推論長、反省長から成る。各埋め込みを学習fold内で30次元PCAへ縮約し、特徴を標準化する。L2正則化ロジスティックprobeの係数絶対値で座標を再重み付けするが、probe予測値は使用しない。

この空間から50近傍を取得し、幅 $\sigma=0.08$ の確信度カーネルで外部結果を重み付けする。Reflectには上位8例をカード化して提示する。最終確信度はRecallとReflectの算術平均である。PCAとprobe fittingは銀行更新時の償却処理であり、照会時には埋め込み、検索、Reflectを実行する。

評価は推論4、コード1、マルチモーダルQA1、対話型エージェント3の計9ベンチマーク、3系列4モデルで行われた。ラベルはexact match、LLM verifier、unit tests、環境スコアから得る。5-fold rotationにより、各推定値から自身の課題・結果と同一評価foldを除外する。

主要指標はAUROCとECEで、AURC、Brier scoreも報告された。推論・コード・マルチモーダルでは4モデル×6データセットの24セルでSC@10とpaired bootstrap比較を行う。エージェントでは3領域×4モデルの12セルで単一ロールアウト比較法と評価する。選択的予測は最低確信度10%棄却後のkept-set accuracyを測る。

24セルでXConfはSC@10にAUROCで21勝2分1敗だった。LiveCodeBenchではXConfのAUROCが0.830〜0.887、ECEが0.018〜0.062、SC@10がAUROC 0.742〜0.804、ECE 0.256〜0.392だった。ScienceWorld、AppWorld、SWE-bench Verifiedの12セルではAUROCが最良または同等だった。

最低確信度10%を棄却するとkept-set accuracyは36セル平均で4.8ポイント上昇し、最大は0.805から0.892への8.7ポイント上昇だった。他モデルの正解率で難度を固定した比較でも、平均AUROCはXConf 0.788、verbalized confidence 0.736で、36セル中35セルが0.5を超えた。いずれも著者報告である。

適用候補は、unit tests、環境スコア、人手確認など独立ラベルが継続的に得られ、actorとタスク分布が比較的安定した環境である。コード、長文、マルチモーダル回答、エージェント軌跡のように、完全一致投票や10生成が不自然な出力に適合しやすい。用途は正しさの証明ではなく、回答採用、再試行、追加検証、人間委任の補助信号である。

自己生成ラベルは確信を持った誤答を成功として保存し、性能を崩した。短い投票可能な事実検索ではSCが強い場合があり、主要表の唯一の敗北も該当セルだった。他モデル銀行への移行は6データセット中5つでAUROCを0.03〜0.06下げ、異なるタスク系列への移行コスト中央値は0.08だった。

自己改善actorに対する忘却・時間重み付けは未検証で、コールドスタートでは概して約20件の少数クラス例が制約になった。生成コスト10分の1は回答生成回数の比較であり、埋め込み往復と短いReflect呼び出しを除く。

最低確信度10%の棄却による平均4.8ポイントのkept-set accuracy上昇は、XConfを資源配分ポリシーへ接続する根拠となる。独立ラベル、安定したactor、近いタスク分布が成立するなら、採用・再試行・委任を分ける信号として評価する価値がある。ただし自己生成ラベルと能力ドリフトは経験条件を破壊するため、AUROCだけでなくラベル経路、更新則、棄却後処理を含むend-to-end評価が必要である。

エピソードを課題 $x$、推論またはロールアウト $\rho$、出力 $a$、採点前反省 $r$、自己申告確信度 $v$、外部結果 $y$ で表す。推定対象は次の正答確率である。

ここで $y=1$ は外部評価で正答または成功と判定されたことを表す。著者らの問題設定は、現在の $(x,a,\rho)$ だけでなく、同一actorの過去エピソード集合を条件情報として利用する。

暗黙の定常性仮定は、actor固有の失敗モードと課題分布が、検索可能な程度に過去から現在へ持続することだ。また、結果ラベルがactorの自己判断から独立し、正答確率との関係を壊さない必要がある。XConfはverifierではなくconfidence estimatorであり、個々の回答の正当性を証明しない。

論文が整理する既存群は、verbalized confidence、token-likelihood、SC@10、semantic entropy、P(True)、単一ロールアウトLLM judge、Platt・isotonic・histogram calibration、conformal prediction、訓練済みverifierである。アクセス要件と推定機構は異なるが、現在の推論過程を主要な観測対象とする点を共通前提として批判する。

self-consistencyは投票可能な短答で有効だが、コードや長い軌跡では意味的同値性の定義が難しく、10生成の費用を伴う。尤度法はロジットアクセスを、学習型verifierは対象分布のデータと重み更新を必要とし得る。XConfの新規性は、ブラックボックス条件を維持しつつ、actor自身の縦断的・外部採点済み履歴を確信度の観測変数として導入する点にある。

experience bankは課題、採点前反省、自己申告確信度、外部結果、および結果判明後に一度だけ生成したlessonを保存する。lessonは未採点時の反省から隔離され、将来情報が初期判断へ混入しないようにする。銀行には照会時点より前に採点済みのエピソードだけを含める。

Recallは課題・反省の意味表現、自己申告確信度、長さ特徴から近傍を取得し、外部ラベルの局所平均を推定する。Reflectは上位例の課題要約、当時の確信度、結果、lessonを読み、反復的失敗モードと現在課題への適用性を出力した後、確信度を再申告する。最終推定は両成分の等重み平均である。モデル重み、ロジット、回答文字列埋め込みは用いない。

課題埋め込みと反省埋め込みは、それぞれ学習fold内で30次元PCAへ縮約される。これらに自己申告確信度、推論長、反省長を加え、全特徴を標準化する。正誤ラベルを目的とするL2正則化ロジスティックprobeをfitし、係数絶対値で座標を再重み付けする。probeの確率出力を捨てることで、教師あり信号は近傍幾何の構成だけに使われる。

再重み付け空間で50近傍を取得し、自己申告確信度の差に対して幅 $\sigma=0.08$ のカーネルを適用する。本文の簡略化では近傍ラベル平均として記述されるが、完全実装はこの確信度重みを含む。Reflectは上位8件をカード化し、一文の失敗パターン、現在の曝露判断、再申告確信度を求める。

PCAとprobe fittingは銀行更新時に定期実行する償却処理である。照会時には新規課題の埋め込み、検索、カーネル集約、Reflect呼び出しを行う。この区別は、compile-timeの教師信号利用とlocal run timeの処理費用を混同しないために重要である。

実験は推論4、コード1、マルチモーダルQA1、対話型エージェント3の計9ベンチマーク、3系列4モデルを対象とする。結果ラベルはexact match、LLM verifier、unit tests、環境スコアで構成される。比較法はverbalized confidence、SC@10、semantic entropy、P(True)、LLM judge、事後較正、conformal prediction、訓練済みHTC verifierを含む。

5-fold rotationにより、各推定時には当該エピソードの課題・結果と同一評価foldを銀行から除外する。PCAとprobeも学習foldだけでfitされる。これにより自己参照と同一評価foldからの漏れを抑える。著者らは単一のRecall・Reflect等重みを領域横断で固定し、領域別チューニングによる比較上の利益を取らない設計を選んだ。

主要識別指標はAUROC、主要較正指標はECEであり、AURCとBrier scoreも評価される。推論・コード・マルチモーダルでは4モデル×6データセットの24セルを構成し、SC@10との勝敗をpaired bootstrapで判定する。エージェントではScienceWorld、AppWorld、SWE-bench Verifiedの3領域×4モデルを、単一ロールアウト比較法と評価する。

選択的予測では最低確信度10%を棄却し、残る90%のkept-set accuracyを棄却前と比較する。これは全例の能力向上ではなく、サービス対象の構成変更による品質差である。難度交絡を検討するため、対象actor以外の3モデルの正解率で問題難度を4層へ固定し、同一層内の正誤ペアにAUROCを限定する。

ALFWorldとWebShopは、失敗や報酬が軌跡内に露出して事後推定がラベル読み取りに近づくため主要表から除外された。この除外は、評価対象が潜在的成否の推定であり、明示結果の抽出ではないという妥当性境界を置く。

推論・コード・マルチモーダルの24セルで、XConfはSC@10にAUROCで21勝2分1敗、23セルで勝利または同等だった。LiveCodeBenchの4モデルでは、XConfがAUROC 0.830〜0.887、ECE 0.018〜0.062、コード類似度ベースSC@10がAUROC 0.742〜0.804、ECE 0.256〜0.392だった。

エージェント3領域の12セルでは、verbalized confidence、LLM judge、訓練済みHTC verifierとの比較で、XConfのAUROCが全セル最良または同等だった。他モデルで難度を固定した層内評価でも、平均AUROCはXConf 0.788、verbalized confidence 0.736で、36セル中35セルが0.5を超えた。

最低確信度10%の棄却後、kept-set accuracyは36セル平均で4.8ポイント上昇した。最大はAppWorldのGemini 3.5 Flashで0.805から0.892への8.7ポイント上昇であり、相対変化ではなくポイント差である。以上は論文著者による報告で、独立再現は与えられていない。

自己申告確信度を検索特徴とカーネルの双方から除くと、Recallの平均AUROCは推論系で0.822から0.741、エージェント系で0.852から0.728へ低下した。内容類似性だけでなく、同程度の自己申告における経験的成否を条件付ける設計が寄与したというアブレーションである。

銀行を100件から全件へ増やすと全エージェント領域でAUROCが上昇し、AppWorldのClaude Sonnet 4.6では0.628から0.810となった。MMLU-Proは約1.2万件でplateauに達した一方、BBEHとエージェント領域は全件時点でも上昇中だった。履歴量の限界効用は領域依存である。

ScienceWorldではRecall単独がAUROC 0.945〜0.976、ECE 0.010〜0.011で、等重みblendより両指標で優れた。凍結した統一レシピは領域別最適化を避ける一方、Reflectが有害になるセルを許容する。主要表のSC@10に対する唯一の敗北は、短く投票可能なセルで生じた。

第一の代替説明は、XConfがactor固有の失敗モードではなく課題難度を検索しているだけというものだ。難度層内評価はこの説明に反する結果を示すが、同一論文内の分析である。他モデルの銀行を同一課題へ移すと6データセット中5つでAUROCが0.03〜0.06低下したことはactor固有性と整合する一方、検索空間がモデル間で移植可能な一般難度表現ではないことも示す。

第二に、Reflectの自然言語説明が因果的に失敗を理解したとは限らず、取得例から確率を再表現している可能性がある。ScienceWorldでRecall単独が勝った結果は、言語化された反省を常に加える必要がないことを示す。論文の主張を支持するのは最終的な識別・較正性能であり、失敗モード文の意味的正しさを独立評価した証拠は示されていない。

第三に、選択的予測の改善は回答生成能力の向上ではなく、低確信度例の除外効果である。実運用上の価値は、棄却例が再試行、人間確認、追加検証を経た後の最終結果まで含めて初めて決まる。

自己生成ラベルは確信を持った誤答を成功として保存し、性能が崩れたため、actorから独立した採点が不可欠である。独立だが弱いLLM judgeでは価値の多くが残ったものの、これは独立再現ではない。コールドスタートでは少数クラス、とくに概して約20件の失敗例が検索キー学習を制約した。

他actorの銀行への移行でAUROCが0.03〜0.06低下し、異なるタスク系列への移行コスト中央値は0.08だった。自己改善actorでは過去エピソードが別の能力状態を表すため、忘却や時間重み付けが必要になり得るが、self-evolving memoryとの統合は未検証である。

回答生成コスト10分の1はSC@10との生成回数比較である。11,999件のMMLU-Pro銀行では、新規埋め込み中央値570ms、63次元空間でのCPU検索0.20ms、p95 0.25msと報告されたが、Reflectの追加LLM呼び出しは別計上である。総遅延、金銭費用、運用保守費の削減はこの結果からは導けない。

方法上の課題は、能力ドリフトを検出して経験を忘却・再重み付けする更新則、コールドスタート時の検索空間、領域依存のRecall・Reflect混合係数である。外部graderの誤りがprobe、近傍構成、局所成功率へ連鎖する過程と、許容可能なラベル品質も未確立である。

評価上は、独立再現、分布移行下の時系列評価、棄却例の構成分析、再試行または人間委任後のend-to-end成功率が必要となる。経験量の増加がplateauする領域と継続改善する領域を事前に識別できるかも不明である。

概念上は、actor固有の経験を保持する利点と、モデル更新時に履歴が陳腐化する危険をどう両立するかが中心問題となる。XConfを恒久的な較正器とみなすより、履歴の適用可能性を継続検査する推定系として設計すべきかが次の検証課題である。

最低確信度10%の棄却でkept-set accuracyが平均4.8ポイント上昇した観測は、XConfをconfidence benchmarkの改善に閉じず、検証資源の配分ポリシーへ接続する根拠になる。独立ラベルが反復的に取得でき、actorと課題分布が安定するなら、採用・再試行・人間委任を分ける信号として比較試験する価値がある。しかし自己生成ラベルは誤った過信を履歴へ固定し、actor移行と能力ドリフトは条件付き関係を変える。したがって採用判断は静的AUROCではなく、ラベル独立性、履歴更新、棄却例の後処理、分布変化時の最終成功率を含むend-to-endポリシーで行うべきである。