U-Space：言語モデルの不確かさを内部状態から読み解く

業務でLLMの回答を読むとき、説明が整っていることと、結論が正しいことは別の問題になる。論文が扱うのは、個々の回答をどこまで信用し、どこで専門家に判断を委ねるかという問題だ。回答全体に信頼度を付けるだけでは、推論の途中で何が不確かになったのかまでは分かりにくい。

たとえば、担当者が複数の資料に基づく質問への回答を点検する場面を考える。資料の意味が曖昧なのか、必要な情報が足りないのか、証拠が食い違っているのかで、確認すべき場所は変わる。これは手法の狙いを理解するための業務例であり、実際の社内資料で有効性が検証されたという意味ではない。U-Spaceは、こうした不確かさの違いを、生成中の内部状態から読み取ろうとする。

既存手法には、次のトークンの出力確率を集約する方法、モデルに追加で自己評価させる方法、複数の回答を生成して意味の一致を調べる方法がある。正解・不正解のラベルを使い、内部状態から正誤を判別する小さな推定器を学習する方法もある。出力確率の集約は単一生成から計算できるが、意味の上で何に迷ったかを説明しにくい。反復生成や教師あり学習には、それぞれ追加の生成や正誤ラベルが必要になる。

もう一つの論点が生成長だ。長さと正誤に関連があれば、回答が長いか短いかを見るだけでも正誤をある程度識別できる。信頼度推定器の成績がよくても、その大部分が長さの情報に由来する可能性がある。そこで著者は、通常の性能に加え、似た長さの回答同士でも正誤を区別できるかを問う。この区別が、提案手法を評価する中心になる。

U-Spaceは空間の名前で、そこから状態を読み出す手法がU-Lensである。土台になるのは、モデルの途中の表現と、人が理解できる意味を結び付ける考え方だ。モデル内で情報が加えられながら流れる表現を「残差ストリーム」と呼ぶ。本研究は、この中に不確かさを読む方向を作る。

使う意味カテゴリは、曖昧さ、情報の不完全さ、証拠の矛盾、一般的な不確かさの4つだ。これらは不確かさを網羅する分類ではない。各カテゴリについて、不確かさを表す語と確かさを表す語を、意味の両端を定める「アンカー」として使う。先ほどの資料確認の例なら、情報不足と証拠の矛盾を分けて眺めるための物差しに相当する。ただし、語から作った方向が、その原因を完全に特定するという保証はない。

アンカーの出発点は、既存リストにある不確かさの61語と確かさの348語だ。独立した文埋め込みモデルで、語とカテゴリの定義の意味的な近さを計算する。リスト内で類似度を標準化してから、各語を最も対応の強いカテゴリに割り当てる。対象モデルで単一トークンにならない語は除外する。

次に、出力側の語彙に対応する方向を、途中の残差ストリームへ写す。ここで使うJ-Lensは、内部状態の変化が出力側へどう伝わるかを平均的に表す「平均Jacobian」を利用する。単に語の出現を数えるのではなく、その語に結び付く内部の方向を探す工程だ。各カテゴリで、不確かさ側と確かさ側の方向をそれぞれ平均し、その差からカテゴリの方向を得る。最後に4方向を直交させ、互いに重ならない座標軸としてU-Spaceを構成する。

正誤ラベルやパラメータの追加学習は必要ない。ただし、構築の準備まで不要という意味ではない。Gemma 4とQwen3.5は公開済みのJ-Lensを使い、Magistral 1.1ではラベルのないWikiText-103の100プロンプトから平均Jacobianを一度推定する。後者には、重みを固定したモデルでの逆伝播が必要だが、パラメータの更新は行わない。

U-Lensは、各トークンの内部状態を正規化し、U-Spaceの4方向へ射影する。さらに射影の大きさを取り除き、空間内でどちらを向いているかを読む。カテゴリごとの正負の整合が、単純な足し算で相殺されないよう変換し、意味的な整合度をまとめた量を得る。論文ではこれをAconeと呼ぶ。

これによって、資料を読む推論の途中で、情報不足に対応する方向や矛盾に対応する方向がどう変わるかを眺められる。可視化例には、モデル内の基準による中心化と再正規化、10トークンの移動平均による平滑化が入っている。また、カテゴリの構成比を示す図は、どの種類が相対的に強いかを示すもので、不確かさの絶対量ではない。

回答の順位付けには、途中の読み出しをすべて平均するのではなく、次の積を使う。

ここで、$r$は生成された推論、$S(r)$は回答の不確かさスコア、$h_{\mathrm{EOT}}$は推論終了マーカーの内部状態だ。$A_{\mathrm{cone}}$はその位置での意味的な整合度、$\bar H(r)$は推論中の次トークン分布のエントロピーの平均を表す。エントロピーは、予測確率のばらつきを測る量である。つまり、終了時点の意味的な信号と、推論全体の予測のばらつきを掛け合わせる。値が大きいほど不確かだと順位付けし、両者の相対的な重みは学習しない。

著者はGemma 4、Qwen3.5、Magistral 1.1の3モデルを、MMLU-Pro、Omni-MATH、SuperGPQA、TriviaQAの各1,000問で評価した。Omni-MATHはルールで検証できる難度4.25以上の問題、SuperGPQAはhard subsetを使う。例題を与えないゼロショット条件で、各モデルのthinkingを有効にし、3つのseedで各問に1回答ずつ生成した。読み出し位置は全実験でネットワークの約3分の2に固定する。

比較には、生成長そのもの、出力確率を集約する方法、追加の自己評価、反復生成による方法、教師あり推定器が含まれる。計算条件は同じではない。P(True)は追加1パス、TokURは通常の生成に加えて重みを摂動した4回を使う。Semantic EntropyとSentenceSARは10生成と補助モデルを使う。教師あり手法は256回答で構築し、別の256回答で設定を選ぶ。したがって、精度の順位と追加情報・計算の必要量を合わせて読む比較である。

生成には上限があり、上限内に完了し、回答を抽出できた出力だけが採点対象になる。未完了や抽出不能の回答も含めた全体の信頼性は、この結果からは分からない。

評価指標はAUROC、AUPRC、AURCの3つだ。AUROCとAUPRCは、不確かさスコアによる正誤の識別を測り、高いほどよい。AURCは、不確かな回答から保留したときに残る誤答率を評価し、低いほどよい。どれも、スコアの値がそのまま正答確率になることを示す指標ではない。

長さ統制では、モデル・データセット・seedごとに、生成トークン数で回答を10分位の群に分ける。各群の中で指標を計算し、群の大きさで加重平均する。これにより、長さが近い回答の間で識別できるかを点検する。ただし、観察された出力を分ける方法であり、長さの影響を完全に除いた証明ではない。

著者は、Aconeと平均予測エントロピーの単独使用、読み出し層、アンカー語の出現なども比較した。さらに、質問と回答を固定して推論だけを延ばす介入や、内部のカテゴリ方向を加えて後続生成を変える介入を行う。性能比較に加え、何を読んでいるのかを確かめる検証だが、各介入の対象は限られている。

著者報告では、4ベンチマーク・3 seed・3モデルの平均で、生成長だけのAUROCは通常評価の68.6%から、長さ統制後の52.4%へ下がった。低下は16.2ポイントだ。U-Lensは71.1%から69.3%への1.8ポイントの低下にとどまった。通常評価の高さだけでは見えなかった、長さへの依存の差が表れている。

長さ統制後のAUROC／AUPRC／AURCは、Gemma 4で68.4／39.6／13.5%、Qwen3.5で71.0／42.1／12.1%、Magistral 1.1で68.3／53.2／24.4%だった。いずれも4ベンチマーク・3 seedの平均で、3モデルと3指標の全9組合せで最良だった。通常の比較手法の最良AUROCに対する差は、順に2.2、1.9、4.7ポイントである。この差はAcone単独に対する改善幅ではない。

積を使う意味も確認されている。長さ統制AUROCは、同じモデル順で平均予測エントロピー単独が66.1／68.9／62.6%、Acone単独が66.3／66.7／67.6%だった。積は両成分を上回り、AUPRCとAURCでも同様だった。この条件では、意味的な内部信号と出力分布の情報が補い合う結果になっている。

優位は条件を外して一般化できない。通常評価のMagistral 1.1では、U-LensのAUROC／AUPRC／AURCが65.7／50.3／25.7%、Acone単独が68.5／51.8／23.5%だった。エントロピーを掛けることで3指標とも悪化した。Gemma 4の通常AUROCも、U-Lensの73.2%に対しTokURは75.1%で、U-Lensが常に最良ではない。

別ベンチマークへの転移では、教師ありのmass-meanプローブよりU-Lensの長さ統制AUROCが高かった。比較値はGemma 4、Qwen3.5、Magistral 1.1の順で、プローブが67.3／63.1／62.4%、U-Lensが68.4／71.0／68.3%である。ただし、教師あり側はseed 42、U-Lensは3 seed平均で、条件が完全には一致しない。追加学習なしで使える点は有望でも、あらゆる転移先で優れるという結論には届かない。

Gemma 4の長さ統制評価では、不確かさの語を数えるだけのAUROCは52.1%、U-Lensは68.4%だった。推論に不確かさのアンカー語がない77%の回答でも、U-Lensは68.6%だった。内部の読み出しは、回答に「迷い」を示す語が出たかどうかだけには依存していない。

長さへの介入も補助的な証拠になる。Gemma 4の短い事実質問24問で、質問と回答を固定し、無関係な数え上げ列を推論に挿入したところ、Aconeは小幅に変化した後に飽和した。ただし、これは1モデルの限られた質問でAconeを調べた結果であり、平均エントロピーも掛けるU-Lens全体の長さ不変性を示さない。

Qwen3.5では、内部状態にカテゴリ方向を加えると、後続生成のためらいや確信の表し方が変わる事例も得られた。方向と応答の関係を支持する一方、各カテゴリが特定の原因だけを捉えることや、正誤の確率を正しく推定することは定量保証していない。読み出し層によってAconeの性能も変わり、深さの比較はseed 42だけで行われている。

適用には内部状態、モデル重み、出力分布へのアクセスが必要だ。内部情報を取得できないAPIへ、そのまま同じ読み出しを適用することはできない。意味の土台も英語のアンカー語であり、4カテゴリは網羅的ではない。資料点検の例で、図に情報不足の方向が見えたとしても、それを資料の欠落や誤答の確定と扱うことはできない。

また、論文はU-Lensを校正済みの安全検出器と位置付けていない。重大な判断では独立した確認を置き換えないよう求めている。内部方向への介入で確信の表し方を変えられる点にも、信頼性と悪用可能性の検証が必要だ。

今後の判断材料は、対象タスクで通常評価と長さ統制評価の双方がどうなるか、積と成分単独のどちらがよいか、実際の保留基準で誤答をどこまで減らせるかである。未完了・抽出不能の出力を含む評価も必要になる。今回示されたのは、不確かさに関係する内部信号を読める可能性と、その順位付け性能であり、業務での安全上の効果は別途確かめる課題として残る。