Random Attention：長文推論におけるKVキャッシュ圧縮の常識を覆すランダム破棄

長い推論では、過去の言葉を参照するための途中の記憶が一語ごとに増えます。限られたメモリで、答えの正確さをなるべく保ちながら何を残すべきかが研究の問いです。

著者らは質問文だけを破棄対象から外し、残りの思考メモを計算単位ごとにくじ引きのように選びました。これにより「賢い採点」が本当に必要かを、単純な比較方法で確かめます。

質問文を保護したランダム方式は、約4倍の圧縮でTriAttentionと同程度の正確さでした。著者らのvLLM評価では、採点処理を持つTriAttentionより処理量が32〜43%多いと報告されています。 数値は論文の著者が報告した結果です。

質問文そのものが非常に長いと、保護するだけで保存枠の大半を使います。また、短い会話や事実の抜き出しでは途中の重なりが少なく、ランダムに捨てた情報を後から補えない可能性があります。8倍以上の強い圧縮についても追加検証が必要です。

約4倍に圧縮した評価で正確さが複雑な選別法と同程度だったことは、質問文を守るだけで十分な場面があると示します。もし対象も長い思考を繰り返すモデルなら、まず単純な比較方法を置く価値があります。ただし、短い回答や一度しか出ない情報へ同じ方法を広げる根拠はまだありません。

長い推論では、過去の言葉を参照するための途中の記憶が一語ごとに増えます。限られたメモリで、答えの正確さをなるべく保ちながら何を残すべきかが研究の問いです。 評価では、正確さだけでなく、選別にかかる時間も含めて比べる必要があります。

先行手法は、後で役立ちそうな言葉を一つずつ採点し、高得点の記憶を残していました。ただし採点や並べ替えにも時間がかかり、方法ごとに最初の質問文を残す条件がそろっていませんでした。

著者らは質問文だけを破棄対象から外し、残りの思考メモを計算単位ごとにくじ引きのように選びました。これにより「賢い採点」が本当に必要かを、単純な比較方法で確かめます。

質問文は問題の条件を含み、入力時に一度しか現れないため、消えると回復しにくい情報です。一方、長い思考では途中の条件や計算結果が後の文章でも言い直されます。複数の参照役にも情報の重なりがあります。そこで質問文は常に残し、重なりのある途中部分だけをランダムに捨てます。採点と並べ替えを行わない分、その処理時間も省けます。

著者らは四つの推論モデルと六つの難しい推論課題を使い、途中の記憶をおよそ4分の1にした条件で正答率を比べました。さらにvLLMを使った生成環境で、同じ時間に処理できる量をTriAttentionと比較しました。

質問文を保護したランダム方式は、約4倍の圧縮でTriAttentionと同程度の正確さでした。著者らのvLLM評価では、採点処理を持つTriAttentionより処理量が32〜43%多いと報告されています。 これは著者らが設定したモデル、課題、圧縮率での報告値です。

この結論が直接当てはまるのは、長い思考文を生成し、途中で同じ情報が言い直される推論モデルです。質問文が保存量の大半を占める入力や、一度しか出ない事実が重要な仕事は評価範囲の外です。

質問文そのものが非常に長いと、保護するだけで保存枠の大半を使います。また、短い会話や事実の抜き出しでは途中の重なりが少なく、ランダムに捨てた情報を後から補えない可能性があります。8倍以上の強い圧縮についても追加検証が必要です。

複雑な採点法と同程度の正確さを保ちながら、著者らの条件では処理量が32〜43%増えました。この結果が同じ種類の長い推論でも確かめられるなら、採用前に「質問文を守ってランダムに捨てる」方法と比べるのが合理的です。ただし、質問文が長い入力や、途中の重なりが少ない仕事では判断をやり直す必要があります。

長い推論では、過去の言葉を参照するための途中の記憶が一語ごとに増えます。限られたメモリで、答えの正確さをなるべく保ちながら何を残すべきかが研究の問いです。

この研究は、途中の思考に情報の重なりがあり、複数の参照役にも同じ手がかりが残ることを前提にしています。質問文だけを特別に守れることも必要です。

先行手法は、後で役立ちそうな言葉を一つずつ採点し、高得点の記憶を残していました。ただし採点や並べ替えにも時間がかかり、方法ごとに最初の質問文を残す条件がそろっていませんでした。

先行法の点数付けと質問文保護が同時に変わっていたため、どちらが正確さに効いたのか分かりにくい比較でした。本論文は、質問文を残す条件をそろえて原因を切り分けます。

著者らは質問文だけを破棄対象から外し、残りの思考メモを計算単位ごとにくじ引きのように選びました。これにより「賢い採点」が本当に必要かを、単純な比較方法で確かめます。

保存枠を、必ず残す質問文の部分と、途中の思考に使う部分へ分けます。後者では計算単位ごとに別々のくじ引きを行い、残す位置を選びます。重要度の合計、順位づけ、並べ替えは使いません。著者らの説明では、後の文章で条件が再び現れることと、複数の参照役へ情報が分散することが、この単純な選択を支えます。

中心となる実験条件は四つの推論モデル、六つの推論課題、約4倍の圧縮です。速度差はvLLMを使った生成条件で測られました。モデル名や課題が変われば、途中の重なり方も変わりえます。

正答率の比較に加え、既存の選別法へ質問文保護だけを足す比較を行います。この比較で方法間の差が小さくなるかを見れば、点数付けと質問文保護のどちらが効いたかを切り分けられます。速度は同じ時間に処理できる量で測ります。

質問文を保護したランダム方式は、約4倍の圧縮でTriAttentionと同程度の正確さでした。著者らのvLLM評価では、採点処理を持つTriAttentionより処理量が32〜43%多いと報告されています。 数値は著者報告であり、別の環境で独立に確認した値ではありません。

既存の選別法でも質問文を必ず残すと、ランダム方式との正確さの差が小さくなりました。これは点数付けそのものの効果が限定的だったという解釈を支えます。ただし、すべての仕事で点数付けが不要だと示した実験ではありません。

結果は「ランダム選択が情報を見分けるのに優れている」という意味ではありません。長い思考には重複が多く、壊れやすい質問文だけを守れば、残りの選び方の差が見えにくくなったとも解釈できます。

質問文そのものが非常に長いと、保護するだけで保存枠の大半を使います。また、短い会話や事実の抜き出しでは途中の重なりが少なく、ランダムに捨てた情報を後から補えない可能性があります。8倍以上の強い圧縮についても追加検証が必要です。 とくに、途中の重なりが少ない仕事では中心となる前提が崩れます。

途中の重なりを事前に測れるか、どの圧縮率から正確さが崩れるか、長いコードや資料を質問文として与えた場合にも利点が残るかが未解決です。短い会話や事実検索を含む評価も必要です。

質問文を守るだけで複雑な方法との差が小さくなったことは、比較条件のそろえ方が結論を変えうると教えてくれます。長い思考を扱うなら、まずランダム方式を基準に置くべきでしょう。一方で、重なりの少ない文章や強い圧縮で失敗するなら別の選び方が必要です。次に見るべき証拠は、圧縮率を変えた失敗点と、推論以外の仕事での再現性です。

長い推論トレースではKVキャッシュが生成トークン数に比例して増え、バッチサイズと並列度を制約します。限られた保持予算で、精度とサービングスループットを両立できるeviction規則が必要です。

Random Attentionはprompt tokenを全headで保持し、非prompt領域だけをheadごとに一様サンプリングします。新しいscoreを提案するのではなく、prompt retentionをそろえた対照実験でscoring ruleの追加寄与を検証する設計です。

promptを保護したRandom Attentionは、約4倍圧縮でTriAttentionと同等水準のaccuracyを示しました。著者らはvLLMの評価条件で、score計算を持つTriAttentionより32〜43%高いthroughputを報告しています。 数値はauthors-reported resultであり、独立追試ではありません。

長大promptでは固定保持分が予算を圧迫します。非推論タスクではtextual redundancyが成立しない可能性があります。また、canonicalに記録された中心条件は約4倍圧縮であり、8倍以上の強い圧縮における精度と速度の境界は未確定です。

約4倍圧縮でTriAttentionと同等水準の精度だったという著者報告は、scoringの前にprompt retentionを統制すべきことを示唆します。長いreasoning traceが対象ならscore-free baselineは有力な比較対象ですが、冗長性の低いworkloadには別の保持規則が必要です。

長い推論トレースではKVキャッシュが生成トークン数に比例して増え、バッチサイズと並列度を制約します。限られた保持予算で、精度とサービングスループットを両立できるeviction規則が必要です。 Accuracyだけでなくeviction処理を含むend-to-end throughputが評価対象になります。

SnapKV、R-KV、VaSE、TriAttentionなどはattention weightやValue表現からtoken importanceを推定し、上位位置を保持します。これらはscore計算と選択を必要とし、prompt retentionの扱いも方式間で異なっていました。

Random Attentionはprompt tokenを全headで保持し、非prompt領域だけをheadごとに一様サンプリングします。新しいscoreを提案するのではなく、prompt retentionをそろえた対照実験でscoring ruleの追加寄与を検証する設計です。

promptはタスク定義や制約を含む一回限りの入力なので、evictionに弱い情報です。対してreasoning traceでは、中間結果が後続テキストで再言及され、複数headにも重複して保持されます。Random Attentionはこのtextual redundancyとmulti-head redundancyを利用し、score aggregationやsortを行わず非prompt KVだけをランダムに間引きます。

四つのreasoning modelと六つの推論ベンチマークで、約4倍圧縮時のtask accuracyを比較しています。既存方式へprompt保護を追加するアブレーションでscoringとretentionの寄与を切り分け、vLLM環境ではTriAttentionに対するthroughputを測定しました。

promptを保護したRandom Attentionは、約4倍圧縮でTriAttentionと同等水準のaccuracyを示しました。著者らはvLLMの評価条件で、score計算を持つTriAttentionより32〜43%高いthroughputを報告しています。 これは論文の評価条件におけるauthors-reported resultです。

主対象は長いCoTを生成し、trace内とattention head間に情報の重複があるreasoning modelです。prompt-dominatedな保持予算、短い系列、情報密度の高いretrievalや抽出タスクへ結果を外挿するには別評価が必要です。

長大promptでは固定保持分が予算を圧迫します。非推論タスクではtextual redundancyが成立しない可能性があります。また、canonicalに記録された中心条件は約4倍圧縮であり、8倍以上の強い圧縮における精度と速度の境界は未確定です。

著者報告では、prompt-retained random evictionが約4倍圧縮でTriAttention相当の精度を保ち、vLLM throughputを32〜43%高めました。reasoning servingでeviction policyを選ぶ際は、score品質だけでなくprompt条件とscore overheadを統制した比較が必要です。prompt-dominated contextやretrieval workloadでは同じ結論を前提にできません。

長い推論トレースではKVキャッシュが生成トークン数に比例して増え、バッチサイズと並列度を制約します。限られた保持予算で、精度とサービングスループットを両立できるeviction規則が必要です。

中心仮定は、reasoning traceにtextual redundancyがあり、attention head間にも情報の重複があることです。またprompt KVを非prompt領域から分離して固定保持できる必要があります。

SnapKV、R-KV、VaSE、TriAttentionなどはattention weightやValue表現からtoken importanceを推定し、上位位置を保持します。これらはscore計算と選択を必要とし、prompt retentionの扱いも方式間で異なっていました。

既存baselineではimportance scoreとprompt retention条件が同時に異なり、accuracy差をscore品質だけへ帰属できませんでした。本論文は+prompt ablationとscore-free baselineで交絡を分離します。

Random Attentionはprompt tokenを全headで保持し、非prompt領域だけをheadごとに一様サンプリングします。新しいscoreを提案するのではなく、prompt retentionをそろえた対照実験でscoring ruleの追加寄与を検証する設計です。

cache budgetをprompt固定領域とnon-prompt領域へ分け、後者をheadごとに一様サンプリングします。attention statisticの集約、token ranking、sortは行いません。設計上の主張は、randomness自体の情報選択能力ではなく、trace redundancyがselection errorを吸収するというものです。

主要条件は四reasoning model、六benchmark、約4倍compressionです。serving testはvLLM上で行われ、accuracy evaluationとは別にscore pathを含むthroughputを観測します。

task accuracyに加え、各scoring baselineへprompt protectionを追加するablationでretentionの寄与を測ります。serving comparisonではTriAttentionを基準にし、score computationを除去したときのthroughput差を評価します。

promptを保護したRandom Attentionは、約4倍圧縮でTriAttentionと同等水準のaccuracyを示しました。著者らはvLLMの評価条件で、score計算を持つTriAttentionより32〜43%高いthroughputを報告しています。 The values are authors-reported rather than an independent replication.

+prompt条件で既存方式間のaccuracy差が縮小し、importance scoreよりprompt retentionの寄与が大きいという解釈を支持しました。これは特定のreasoning条件における結果であり、scoreが他workloadでも無効だと直接示すものではありません。

Random evictionがoptimalなのではなく、traceの重複によりeviction policy間の差が表れにくい可能性があります。観測されたthroughput差も、精度上の優位ではなくscore pathを省いたsystem costとして解釈すべきです。

長大promptでは固定保持分が予算を圧迫します。非推論タスクではtextual redundancyが成立しない可能性があります。また、canonicalに記録された中心条件は約4倍圧縮であり、8倍以上の強い圧縮における精度と速度の境界は未確定です。 In particular, low-redundancy traces violate the mechanism assumed by the method.

redundancyを直接測る指標、8倍以上のcompression、prompt-dominated context、non-reasoning workloadでのfailure boundaryが未解決です。modelやserving stackを変えた再現性も確認が必要です。

既存方式へprompt保護を追加したablationは、観測されたaccuracy差をscore設計だけでは説明できないことを示しました。長いreasoning traceのservingではscore-free evictionを必須の対照にでき、条件が合えば実用上の候補にもなります。一方、強い圧縮や非推論workloadで情報欠落が系統的に起きるなら結論は変わります。次に確認すべきなのは、そのfailure boundaryです。

Reasoning modelの長系列decodeではKV cacheが系列長に対して線形に増大する。固定cache budgetの下で、task accuracyを保ちながらscoring overheadを避けるeviction policyを同定できるかがresearch questionである。

提案法はprompt KVを固定保持し、非prompt位置をattention headごとにuniform samplingする。+prompt条件を既存baselineへ加え、importance scoreとprompt retentionの寄与を分離するablationとして設計されている。

Prompt retention下のuniform random evictionは約4× compressionでTriAttentionと同等水準のaccuracyを保った。authors-reported resultでは、vLLM条件におけるthroughputがTriAttention比で32〜43%高い。 数値は原論文における著者報告であり、独立追試の結果ではない。

prompt lengthがcache budgetの大半を占めるとevict可能領域が小さくなる。textual redundancyが弱い抽出・検索タスクではuniform evictionが必要情報を除く可能性がある。8×以上のcompression ratioにおけるfailure boundaryも追加評価を要する。

著者らは、promptを保持したuniform random evictionが約4倍圧縮でTriAttentionと同等水準のaccuracyを示したと報告しています。この結果は、importance scoreを評価する前にprompt retentionを交絡要因として統制すべきことを示唆します。ただし、長いreasoning trace以外や、さらに強い圧縮への一般化には別の証拠が必要です。

Reasoning modelの長系列decodeではKV cacheが系列長に対して線形に増大する。固定cache budgetの下で、task accuracyを保ちながらscoring overheadを避けるeviction policyを同定できるかがresearch questionである。 Accuracyだけでなくeviction処理を含むend-to-end throughputが評価対象になります。

SnapKV、R-KV、VaSE、TriAttention等はattention statisticやValue representationをimportance proxyとしてtokenをrank付けする。本論文は、baseline間でprompt retentionが統制されていないことを交絡要因として扱う。

提案法はprompt KVを固定保持し、非prompt位置をattention headごとにuniform samplingする。+prompt条件を既存baselineへ加え、importance scoreとprompt retentionの寄与を分離するablationとして設計されている。

promptは生成前に一度だけ与えられるため、欠落時に後続traceから復元しにくい。一方、reasoning traceには中間条件の再言語化によるtextual redundancyと、複数headにまたがる表現の重複がある。提案法は後者だけをsampling対象とし、score computationとranking pathを除去する。

四model・六reasoning benchmarkで約4× compression時のtask accuracyを比較する。各scoring baselineへ+prompt条件を加えるablationを行い、serving評価ではvLLM上でTriAttentionに対するrequest throughputを測定する。

Prompt retention下のuniform random evictionは約4× compressionでTriAttentionと同等水準のaccuracyを保った。authors-reported resultでは、vLLM条件におけるthroughputがTriAttention比で32〜43%高い。 これは論文の評価条件におけるauthors-reported resultです。

claimが直接支持されるのは、長いreasoning trace、固定prompt retention、約4× compression、論文で用いたmodel・benchmark・vLLM条件である。non-reasoning workloadやprompt-dominated budgetへのexternal validityは確立していない。

prompt lengthがcache budgetの大半を占めるとevict可能領域が小さくなる。textual redundancyが弱い抽出・検索タスクではuniform evictionが必要情報を除く可能性がある。8×以上のcompression ratioにおけるfailure boundaryも追加評価を要する。

著者報告のaccuracyとthroughputは、KV eviction研究でprompt retentionをそろえてからscoringの寄与を評価すべきことを示します。長いreasoning traceではuniform evictionが必要なbaselineになりますが、普遍的な最適方策を意味しません。採用判断にはprompt長、compression ratio、model、workload、serving stackをそろえた比較が必要です。

Reasoning modelの長系列decodeでは、KV cacheが系列長に対して線形に増大します。固定cache budgetの下でtask accuracyを保ちつつ、scoring overheadを避けるeviction policyを同定できるかがresearch questionです。

中心仮定は、reasoning traceにtextual redundancyがあり、attention head間にも情報の重複があること、さらにprompt KVを生成tokenのKVとは別に固定保持できることです。retrieval情報が密な系列や短い系列では、これらの仮定が成立するとは限りません。

SnapKV、R-KV、VaSE、TriAttention等はattention statisticやValue representationをimportance proxyとしてtokenをrank付けします。本論文は、baseline間でprompt retentionが統制されていなかったことを交絡要因として扱います。

先行比較ではtoken scoringとprompt retentionが同時に変わっていました。そこで+prompt条件とscore-free baselineを導入し、scoring ruleの追加寄与を識別します。

提案法はprompt KVを固定保持し、非prompt位置をattention headごとにuniform samplingする。+prompt条件を既存baselineへ加え、importance scoreとprompt retentionの寄与を分離するablationとして設計されている。

cache budgetを固定保持するprompt KVと、破棄対象となる非prompt領域へ分けます。各attention headでは非prompt位置を一様にsamplingし、attention statisticの集約やrankingは行いません。

この設計の根拠は、random selectionが意味的に最適だという主張ではありません。後続tokenで中間条件が再言語化されるtextual redundancyと、複数headに情報が重複するmulti-head redundancyがselection errorを吸収する、という仮説です。

中心となる証拠は、四つのreasoning model、六つのreasoning benchmark、約4倍のcompressionを対象とします。serving throughputはtask accuracyとは別にvLLM上で測定されています。したがってmodel、benchmark、生成条件、software stackはいずれもclaimの境界に含まれます。

task accuracyについてscoring baselineとuniform evictionを比較し、さらに既存方式へprompt retentionを追加するablationを行います。serving評価ではTriAttentionを比較対象にし、score computationと選択処理を除去した場合のthroughput差を測ります。

Prompt retention下のuniform random evictionは、約4倍のcompressionでTriAttentionと同等水準のaccuracyを保ちました。著者らはvLLM条件で、TriAttentionより32〜43%高いthroughputを報告しています。これらは原論文のauthors-reported resultであり、独立追試ではありません。

既存eviction methodへprompt retentionを加えると、方式間およびRandom Attentionとのaccuracy差が縮小しました。この結果はprompt retentionが主要な説明要因だという解釈を支持します。ただし、評価対象外のworkloadでもすべてのimportance scoreが無効だと示したわけではありません。

Uniform evictionが優れた情報選択器なのではなく、評価した保持予算ではtraceの重複が大きく、selection qualityの差を識別しにくかった可能性があります。同様にthroughput差はtask accuracyの優位ではなく、scoring pathを除去したsystem costの差として解釈すべきです。

prompt lengthがcache budgetの大半を占めると、破棄可能な非prompt領域が小さくなります。textual redundancyの弱い抽出・検索タスクではuniform evictionが必要情報を除く可能性があります。canonicalに記録された中心条件は約4倍圧縮であり、8倍以上のcompression ratioにおけるfailure boundaryも未確定です。

今後の課題は、trace redundancyを直接測る指標、4倍を超えるcompression、prompt-dominatedなbudget、非推論workloadでの破綻点です。model familyやserving stackを変えた追試も、external validityを判断するうえで必要です。

prompt retentionをそろえた比較は、従来のKV eviction結果に交絡があった可能性を支持し、serving評価はscoringに伴うcostを数量化しました。したがってuniform evictionは必要なbaselineですが、普遍的な最適方策とは言えません。より強い圧縮、prompt-dominated context、非推論系列での証拠を確認してからclaimを広げるべきです。