Thinking Inertia：「考えずに答えて」と指示してもLLMに残る可視推論

LLMの推論モードは、答えに至る検討を伴う応答を制御する設定として使われる。この研究が問うのは、その反対側だ。推論モードを無効にし、「考えずに直接答えて」と指示したとき、出力は本当に回答だけになるのか。論文は、こうした制御下でも目に見える明示的推論が残る現象をThinking Inertiaと呼ぶ。ここでいう推論は、内部で起きる計算全般ではなく、可視テキストとして現れる推論である。

従来の代理指標には、推論オフ設定、推論専用チャネルやタグの不在、生成文の短さがあった。しかし、通常の回答欄にも推論は書ける。短い文章に推論の一歩が含まれることもあれば、長い文章が定型句だけで埋まることもある。設定や長さだけでは、説明を止められたかと、推論を表示しなくなったかを区別できない。

著者は応答を、最終回答Aと、基本的にはその前にある可読な可視テキストTに分ける。Aは最後に解析可能な最終回答を指す。この分解によって、答えの正誤と、その周囲に何が書かれたかを別々に評価する。答えが正しくても余計な説明があれば、回答のみを求める指示には従っていない。逆に、回答だけを返しても、その答えが正しいとは限らない。

ただし、すべての応答が「説明、その後に答え」という順序になるわけではない。回答後に説明する例外もある。そのため厳密な形式遵守は出力全体を検査する。関連性を測る可視テキストの構築でも、可読な推論フィールドや通常の応答内容を考慮する。単純に回答の手前を切り取るだけでは、研究の測定範囲を十分に表せない。

もう一つの軸が、回答空間、つまり回答として取り得る候補の範囲だ。本研究は二値、選択式、自由回答を比較する。二値なら候補は強く限定される。選択式では提示された候補から選び、自由回答では答え自体を生成する。この違いが、回答のみを返しやすいかに関係するという仮説である。

業務で数値を確認する場面を考えると、候補の数値が正しいかを確認させる依頼と、候補を示さず数値を求める依頼は、内容が近くても回答形式が異なる。この例は比較軸を理解するためのものだ。論文が直接評価したのはベンチマークの問題であり、実業務の数値確認で同じ効果が得られると確かめたわけではない。

第一の指標ETRは、厳密に回答のみを返した割合だ。回答が解析可能で、許可された囲みなどの形式に収まり、その外に実質的な文章がないことを求める。Tが空でも回答形式が不正なら合格にならず、回答後の説明も不遵守となる。これは「短く答えた割合」より厳しい条件である。

第二のQRel.は、質問とTの関連性を測る。Qwen3-Embedding-4Bで両者を意味を表すベクトルに変換し、正規化したベクトル同士の向きの近さをコサイン類似度で求める。空のTは0とし、全出力で平均する。質問に関係する文章がどれだけ残るかを見る指標だが、質問の言い換えも関連性を持ち得るため、これだけで推論とは判定できない。

そこで第三のEIRを使う。GPT-5.5に質問とTだけを渡し、「定型・無関係」「言い換えのみ」「関連する非推論」「明示的推論」「不明」の五つに分類させる。モデル名、介入条件、最終回答、その正誤、QRel.は隠し、判定の根拠箇所も求める。明示的推論だけを数え、空のTを含む全出力で割る。ETR、QRel.、EIRを併用すれば、回答のみの出力、関連する文章、推論を区別できる。

比較した介入は六つある。M1のThink-Onは推論を有効にし、基準となるM2のThink-Offは無効にする。M3のCoTは、推論オフのまま段階的に考えるよう求める。CoTは、答えに至る段階を文章化させる指示である。M4のSoftは短い導入を許す一方、説明を禁じる。M5のStrictは、推論なしの直接回答を要求する。

M6のPrefixは、答えを入れる枠までの回答テンプレートを生成冒頭に事前充填する。これは自然言語で厳しく命じるM5とは異なる介入だ。回答から書き始めさせれば後続の推論も減るかを試すもので、M5をさらに強めた条件とは扱わない。研究は、こうした生成時の制御が可視出力をどう変えるかを比較している。

対象はQwen3-4B、Qwen3-32B、Qwen3-235B-A22B、DeepSeek-V4-Flash、GPT-5.4、Gemini-3-Flash-Previewの六モデルだ。二値にはBoolQとStrategyQA、選択式にはMMLUとMMLU-Pro、自由回答にはGSM8KとMATHを使う。正答率と三指標は同じ全出力上で集計し、回答空間別の集計では各データセットの項目数で重み付けする。

ローカルで動かしたQwen3の二モデルは全分割を使用した。API経由の四モデルは、各モードでStrategyQAの全687問と、ほかの各ベンチマークから1,000問ずつを使う。応答上限は各モード8,192トークンで、生成のばらつきを制御する温度は指定可能な場合に0とした。Geminiのminimal設定は完全オフではなく、オフに近い条件と位置付ける。評価項目数や制御方法がモデル間で同一ではない点は、平均値の解釈に残る。

また、回答形式と問題内容の違いを切り分けるため、同じ数値問題を別形式に書き換えた比較も行う。異なるベンチマーク間の差だけでは、候補の有無が効いたのか、問題そのものが違うのかを判断しにくいからだ。

著者は各ベンチマーク100件、合計600出力を五人による盲検評価にかけた。非空のTがある402件を独立に注釈し、空の198件には非推論を割り当てた。明示的推論の有無について、人手とGPT-5.5の平均二値一致率は98.8%、別系列のClaude Opus 4.8とは96.7%だった。QRel.と人手による関連性評価の平均Spearman相関は0.829で、評価順位の対応を調べている。

さらに、全コーパスの自由回答・M5条件でEIRを比較すると、Claudeは61.02%、GPT-5.5は62.00%だった。主要な傾向が一つの判定器だけに依存していないという支えになる。選択肢の順序やラベルの変更、分野別比較、代替埋め込み器も検証に用いた。ただし、これらはすべて著者側の検証だ。QRel.は推論検出器ではなく、EIRも分類基準と判定器の較正に依存する。高い一致率は、判定の限界そのものをなくさない。

著者の報告では、六モデル・六ベンチマークの全出力について、M2からM5へ変えるとEIRは二値で5.15%から0.12%、選択式で45.57%から25.39%、自由回答で99.69%から62.00%へ下がった。厳格な指示は可視推論を減らすが、自由回答ではなお多く残る。回答空間の制約が弱いほど抑えにくいという、Thinking Inertiaの中心的な結果である。

正答率との関係は別に見る必要がある。完全な推論オフ条件を持つ五モデルのGSM8K・MATH平均では、M2からM5への変更でETRがほぼ0から約40%へ上がり、正答率は約15パーセントポイント下がった。これは相対的に15%減ったという意味ではない。また、この五モデル平均は、先の六モデルのEIRと集計対象が異なる。論文では、二値と選択式の正答率変化は比較的小さく、自由回答でトレードオフが最も明瞭だったと報告している。

回答テンプレートの事前充填も、より確実な解決にはならなかった。M5からM6へ変えると、選択式と自由回答の平均ETRは低下し、すべての回答空間で平均QRel.とEIRが反発した。なお、このETR平均は推論オフ条件を持つモデルを対象とする。回答から書き始めることと、回答だけで終えることは別の能力だと読める。

同一内容に近づけた比較では、Qwen3-32BのM2を使い、MMLU・MMLU-Proの対応する数値回答問題の部分集合を書き換えた。正答率、ETR、QRel.、EIRの順に、元の選択式は77.8%、10.5%、0.709、86.95%。候補付き二値確認は78.9%、62.5%、0.314、36.90%。自由回答は52.6%、0%、0.810、90.14%だった。全MMLU・MMLU-Proの成績ではなく、この対応部分集合での結果である。

候補付き二値確認では、元の選択式に近い正答率を保ちながら、回答のみの出力が増えている。問題形式が挙動に関係するという根拠になる。ただし、形式を変えること自体が課題の解き方も変える。業務で候補をどう用意すべきか、どの課題でも同様に有利かまでは、この比較では確定しない。

モデル別にも大きな差がある。GSM8Kの全1,319問を温度0、上限8,192トークンで評価したローカル比較では、Qwen3-32BのM2からM5への変更で、正答率は93.4%から44.4%、ETRは0%から93.2%になった。一方、Qwen3-4Bの正答率は89.9%から90.0%で、ETRはどちらも0%だった。後者は精度を維持したが、回答のみへの遵守は改善していない。平均的なトレードオフを、すべてのモデルに共通する法則として扱うべきではない。

本研究が示すのは、設定や指示から可視出力の挙動を決めつけられないということだ。説明を減らす介入で正答率も下がる例はあるが、それだけで内部の計算が止まったとは言えない。回答のみの出力でも、内部状態や非公開チャネルで課題に関係する計算が続く可能性は残る。供給資料には介入別の実測レイテンシや実推論コストの比較値がなく、短い応答を速度や費用の改善と置き換えることはできない。

適用範囲にも境界がある。多言語、コード、ツール利用、複数ターン、確率的生成への一般化は未解決だ。商用APIの更新後も傾向が保たれるかも確かめる必要がある。現時点で実務の判断に使えるのは、回答形式と正答率を分離して測る枠組みである。次に見るべき証拠は、対象業務のデータで同じ関係が再現するか、そして可視出力の変化が実測の時間や費用とどう対応するかだ。