XConf：過去の類似課題の成績からLLMの確信度を補正する

LLMが流暢に答えたことと、その答えが正しいことは同じではない。そこで確信度が必要になる。確信度が正誤をうまく分け、数値として実際の正解率にも合っていれば、回答をそのまま渡すか、再試行するか、追加検証や人の確認へ回すかを決めやすい。

ここで扱う確信度は、個々の回答を証明する判定ではない。正答しそうな回答を上位へ置き、同程度の確信度を持つ集団の成功率を表すための推定値である。たとえば業務用のコード生成で、モデルが「90%」と述べても、似た修正で実際には半分しかテストを通過していなければ、その自己申告をそのまま採用する理由は弱い。XConfは、この自己申告と実績のずれを過去の記録から捉えようとする。

既存の候補には、モデル自身に確信度を言わせる方法、トークンの確率を読む方法、同じ課題へ複数回答させる方法、別のLLMや訓練済みverifierに判定させる方法、過去データで確率を事後較正する方法などがある。アクセス条件は異なるが、著者らは多くが現在の推論過程を主な情報源にしていると整理する。

SC@10のようなself-consistencyは、短く投票可能な事実回答では自然で、実際にXConfより強い場合もあった。しかし、長いコードやエージェントの操作軌跡では、二つの出力が同じ意味かを決めにくく、10回の生成も必要になる。さらに、今回の文章だけを見ても、同じモデルが似た条件で繰り返す読み落としや過信は分からない。XConfが加えるのは、現在の推論を細かく読む別の技法ではなく、時間をまたいだ採点履歴である。

XConfの経験バンクには、課題、推論または操作の軌跡、出力、採点前の反省、自己申告確信度、外部評価による成否を保存する。結果が分かった後には、その経験から得た教訓を一度だけ書き加える。結果後の教訓は採点前の反省には見せず、後から得た情報が初期判断へ漏れないように分ける。

先ほどのコード生成を続けて考えると、課題を解いた直後の「この修正は通ると思う」という手応えと、テスト後の「境界条件を落とした」という教訓を別欄に残す形だ。次の類似修正では、過去の通過率と教訓を参照する。ただし、これはモデルが人間のように技能を身につけたという意味ではない。モデル本体の重みは更新せず、過去の記録を今回の確信度推定に使う部分だけが、この例と対応する。

この発想には少なくとも三つの条件がある。第一に、unit tests、環境スコア、人手確認など、モデル自身の自己判断とは別の結果ラベルが得られること。第二に、成功だけでなく失敗も含む履歴が、類似例を探せる程度に蓄積すること。第三に、過去と現在で対象モデルの能力や仕事の分布が大きく変わらないことだ。

したがって、XConfは記録さえあればどこでも使える一般的な真偽判定器ではない。同じモデルが比較的安定した種類の仕事を繰り返し、その結果を後から確かめられるという設定で、過去の成績が現在の正解見込みをどこまで補足するかを検証した研究である。

XConfの第一段階はRecallである。新しい課題について、課題内容と採点前の反省を表す埋め込み、最初の自己申告確信度、推論と反省の長さを使い、過去の近い経験を探す。埋め込みは学習用の分割内でそれぞれ30次元へ縮約し、各特徴を標準化する。さらに、正誤を予測するL2正則化ロジスティックprobeの係数の絶対値を使い、正誤の区別に関係した座標を距離計算で重く扱う。ただし、probeが出した予測確率自体は最終確信度に使わない。教師あり信号は、何を「近い」とみなすかの調整に限って使われる。

この空間から近い50件を選び、最初の自己申告確信度が近い記録ほど重く数えて、歴史的成功率を得る。つまり、課題内容だけでなく、「同じくらい自信を持った過去の類似例が、実際にはどれほど成功したか」を見る。回答文字列そのものの埋め込みは検索に使わない。

第二段階のReflectでは、特に近い8件をカードにする。各カードには課題の要約、当時の確信度、外部評価の結果、結果後に書いた教訓が入る。モデルはそこから繰り返す失敗パターンを一文で特定し、現在の課題もその失敗にさらされているかを判断して、確信度を再申告する。

最終的なXConfの値は、Recallが出した過去の成功率と、Reflect後の再申告を同じ重さで平均する。コード生成の例なら、「似た境界条件の修正で、同じ程度に自信を示したときのテスト通過率」と、「過去の境界条件漏れを読んだ後の今回の自己評価」を合わせる。この二つは、統計的な履歴と個別事例への言語的な振り返りを担う。全領域で同じ半々の配分を使うため、領域ごとの最適値を選んだ結果ではない。

著者らは、推論4、コード1、マルチモーダルQA1、対話型エージェント3の計9ベンチマークと、3系列の4モデルを評価した。結果ラベルには、課題に応じてexact match、LLM verifier、unit tests、環境スコアを使った。比較対象は、言語化された確信度、SC@10、semantic entropy、P(True)、単一ロールアウトを読むLLM judge、複数の事後較正法、conformal prediction、訓練済みverifierなどである。

推論・コード・マルチモーダルQAでは、4モデルと6データセットの24セルでSC@10と比較した。エージェントではScienceWorld、AppWorld、SWE-bench Verifiedの3領域と4モデル、計12セルを単一ロールアウト型の手法と比べた。中心指標は正誤の順位付けを見るAUROCと、確率値のずれを見るECEである。選択的予測では、最低確信度の10%を外した後に残る集合の正解率を測った。

評価では5-fold rotationを使い、各回答の確信度を作る際に、その回答自身の課題と結果、同じ評価foldを経験バンクから除外した。検索空間を作るPCAとprobeも学習fold内で構成する。したがって、評価対象の正誤をそのまま過去記録として読んでしまう経路は設計上抑えられている。

また、XConfがモデル固有の失敗ではなく一般的な問題難度だけを見つけた可能性に対し、対象外の3モデルの正解率で問題を4段階の難度に分け、同じ難度層の中で正誤を比較した。ただし、これらはすべて同じ論文内で著者らが行った評価であり、独立再現ではない。高いAUROCは確信度による順位付けを支持するが、再試行や人への委任まで含めた最終的な業務成果を直接示すものでもない。

著者らの報告では、推論・コード・マルチモーダルQAの24比較で、XConfはSC@10にAUROCで21勝2分1敗だった。つまり23件で勝つか同等だった。LiveCodeBenchの4モデルでは、XConfのAUROCが0.830〜0.887、ECEが0.018〜0.062だったのに対し、10生成のコード類似度を使うSC@10はAUROC 0.742〜0.804、ECE 0.256〜0.392だった。

エージェントのScienceWorld、AppWorld、SWE-bench Verifiedでは、4モデルを合わせた12セルすべてで、XConfのAUROCが言語化確信度、LLM judge、訓練済みHTC verifierに対して最良または同等だった。難度を固定した比較でも、平均AUROCはXConfが0.788、言語化確信度が0.736で、XConfは36セル中35セルで0.5を上回った。これは単なる難度推定だけでは結果を説明しにくいことと整合するが、その説明を独立に排除したわけではない。

最低確信度の10%を棄却すると、残る90%の正解率は36セル平均で4.8ポイント上昇した。最大はAppWorldのGemini 3.5 Flashで、0.805から0.892への8.7ポイント上昇だった。これは8.7%の相対改善ではなく、正解率の差が8.7ポイントという意味である。

この結果が示すのは、全回答を生成する能力そのものが上がったことではない。低確信度例を提供対象から外すことで、残した集合の構成と品質が変わったという結果だ。棄却した回答を再試行や人の確認へ回した後、最終的な成功率がどうなるかは報告範囲外である。そのため、選択的予測の結果は、確認資源を振り分ける候補信号として読むのが適切だ。

自己申告確信度を検索キーと成功率の重み付けの両方から外すと、Recallの平均AUROCは推論系で0.822から0.741へ、エージェント系で0.852から0.728へ下がった。内容が似ているだけでなく、「同程度の自信を示した過去」に条件を合わせることが寄与したという著者らのアブレーションである。

経験バンクを100件から全件へ増やすと、全エージェント領域でAUROCが上昇し、AppWorldのClaude Sonnet 4.6では0.628から0.810になった。一方、MMLU-Proは約1.2万件で横ばいとなり、BBEHとエージェント領域は全件時点でも上昇中だった。経験を増やす効果は領域で異なる。またScienceWorldでは、Recall単独の方が等重みの最終版よりAUROCとECEの双方で良かった。Reflectを常に加える統一レシピが、各領域の最良構成とは限らない。主要比較でSC@10に負けた唯一のセルも、短く投票可能な課題だった。

最も重要な制約はラベルである。モデル自身に経験を採点させると、自信を持った誤答を成功として保存し得るため、性能が崩れた。独立だが弱いLLM judgeでは価値の多くが残ったものの、外部テストや人手確認と同じ信頼性が保証されたわけではない。開始直後は少数クラス、特におおむね20件の失敗例が制約となった。

別モデルの経験バンクを同じ課題へ移すと、多くのデータセットでAUROCが0.03〜0.06低下し、別のタスク系列への移行コスト中央値は0.08だった。自己改善などでモデル能力が変われば、古い経験は現在とは別のモデルの記録に近づく。忘却や時間による重み付けが必要になる可能性はあるが、未検証である。

さらに、「生成コストが10分の1」という主張は、SC@10と比べた回答生成回数の話だ。XConfにも新規エピソードの埋め込みと短いReflect呼び出しがある。したがって、総遅延や金銭費用まで必ず10分の1になるとは言えない。失敗や報酬が軌跡に直接現れる環境では、事後推定が結果の読み取りに近づくため、その種の環境も主要比較には向かない。