Random Attention：長文推論におけるKVキャッシュ圧縮の常識を覆すランダム破棄

近年の大規模言語モデル（LLM）では、複雑な数学の問題や論理パズル、プログラミングなどの難問に対して、すぐに結論を出さずに長大な「思考の連鎖（CoT: Chain of Thought）」を自ら展開する推論モデルが普及しています。この思考プロセスは人間の専門家が白紙のノートに下書きを重ねる作業に似ており、目覚ましい正答率の向上を実現しています。

しかし、この長文推論にはハードウェア運用上の重大な代償が伴います。言語モデルが文章を1単語ずつ生成する際、過去の文脈を再利用するための計算データである「KVキャッシュ」がGPUの高速メモリ上に蓄積され続けます。思考プロセスが数千から数万トークンに及ぶと、KVキャッシュは生成トークン数に比例して線形に増大し、GPUのメモリ容量を急激に圧迫します。

GPUメモリが満杯になると、サーバーが同時に処理できるリクエストの並列度（バッチサイズ）を上げられなくなります。長文推論モデルを商用サービスとして提供する現場にとって、メモリ逼迫によってサーバーの処理能力が頭打ちになり、推論あたりの運用コストが跳ね上がる現象は極めて深刻なボトルネックとなっていました。

このメモリ不足を解決するため、限られた保持予算を超えた古いKVキャッシュを順次間引く「キャッシュ破棄（Eviction）」の技術が精力的に研究されてきました。これまでの代表的な手法（SnapKV、R-KV、VaSE、TriAttentionなど）は、ある一つの共通したパラダイムに基づいて開発されていました。それは、「各トークンが将来の生成でどれだけ参照されるか」を推定するスコアリング関数を設計し、高スコアの上位トークンだけを残すという方針です。

ビジネスの現場に例えれば、長時間の検討会議でホワイトボードがいっぱいになった際、書記係が「どの発言が今後の議論で役に立つか」を毎回立ち止まって採点し、点数の高いメモだけを残して消していく作業にあたります。

しかし、このアプローチには見落とされがちな代償がありました。アテンションの重みや表現ベクトルを集計し、全トークンのスコアを比較して並べ替える処理そのものが、少なからぬ計算時間とGPUリソースを消費します。さらに、過去の研究では手法ごとに「最初の指示文（プロンプト）」をどのように残しているかという前提条件が統一されておらず、スコアリング計算自体の真の有効性が厳密に検証されていませんでした。

本論文の著者チームが着目したのは、推論モデルが生成する思考文章の特性と、モデル内部の計算構造が持つ「二重の冗長性（重複）」でした。

先ほどの検討会議の例えを振り返ってみましょう。クライアントから最初に手渡された「要件定義書（プロンプト）」は、外部から一度だけ与えられた情報です。これをホワイトボードから消してしまうと、プロジェクト全体の目的や制約条件が何だったのか二度と確認できなくなります。これが「プロンプトの脆弱性」です。

一方、アナリストたちが手元で進める思考メモはどうでしょうか。推論モデルは思考を深める過程で、「先ほど求めた計算結果Aを考慮すると……」というように、重要な前提や中間結果を後続の文章で繰り返し言い直す性質を持っています。これが第1の冗長性である「言語的冗長性（Textual Redundancy）」です。

さらにモデル内部では、複数の「アテンションヘッド」が独立して文章間の関係を計算しており、それぞれのヘッドが思考トレースの情報を重複して保持しています。これが第2の冗長性である「マルチヘッド冗長性（Multi-head Redundancy）」です。

著者らは、この二重の冗長性があるため、プロンプトさえ確実に守れば、途中の思考メモは高度なスコア付けを行わなくても大まかに間引くだけで十分に推論を継続できるのではないかという仮説を立てました。

提案された「Random Attention」の設計は、従来の常識を覆すほどシンプルです。複雑な重要度の計算や順位付けを完全に撤廃し、2つの明確な規則だけでキャッシュを管理します。

第1の規則は「プロンプト保護」です。ユーザーが入力した問題文や指示のトークンは、全アテンションヘッドにおいて破棄対象から完全に除外され、100%メモリ上に固定保持されます。文脈の土台となる取り返しのつかない情報を確実に保護する措置です。

第2の規則は「ヘッドごとの一様ランダム破棄」です。モデル自身が生成した思考トレースのトークンに対しては、アテンション統計の集計やスコア計算、ソート処理を一切行いません。各アテンションヘッドの中で、あらかじめ割り当てられた保存枠に収まるよう、一様ランダム（確率的に均等なくじ引き）に保持するトークンを選択し、残りを破棄します。

この設計の意図は、ランダムな間引き自体が賢い情報選択を行うと主張することではありません。思考トレースが備える言葉の再言及（言語的冗長性）と、複数ヘッドによる情報の重複（マルチヘッド冗長性）によって、無作為に一部が抜け落ちても、推論に必要な文脈は別の箇所や別のヘッドから十分に補完されるという論理に基づいています。スコア計算パスを丸ごと省くことで、選別に要する計算負荷をゼロに抑える構造です。

著者チームはこの仮説を検証するため、QwenやPhi-4-reasoningなどオープンソースの代表的な4つの推論モデルを採用し、厳密な統制実験を実施しました。評価タスクには、長大な思考連鎖を必要とする6つの難関推論ベンチマークが選ばれました。

比較対象のベースラインには、先行研究で最も高い精度を示していた代表的手法「TriAttention」をはじめとする、既存のスコアリング型圧縮手法を設定しました。実験では、元のKVキャッシュ容量をおよそ4分の1に縮小する「約4倍圧縮」という実用的なメモリ制限条件下で、各手法の推論精度を比較検証しました。

さらに、単なる正答率の比較にとどまらず、実際の運用効率を評価するため、LLM高速推論基盤として広く使われている「vLLM」に提案手法のカーネルを統合しました。これにより、キャッシュ破棄処理自体の計算負荷を含めた、実環境におけるエンドツーエンドのリクエスト処理スループット（単位時間あたりの処理量）をTriAttentionと直接比較測定できる体制を整えました。

本研究の評価設計において最も決定的な役割を果たしたのが、「アブレーション実験（要素分離実験）」です。

従来のスコアリング手法は、アルゴリズムごとにプロンプトをどの程度残すかという扱いが異なっていました。そこで著者らは、既存の各手法に対してRandom Attentionと同様にプロンプトを確実に保持する条件（+prompt条件）を追加し、プロンプト保持の条件を統一した対照実験を行いました。

その結果、極めて明快な事実が浮き彫りになりました。既存手法にプロンプト保護を追加すると、手法間の精度差がほとんど消失し、スコア計算を全く行わない一様ランダム破棄とほぼ同等の精度に収束したのです。

この検証により、従来のスコアリング手法で観察されていた性能差は、精緻なスコア設計そのものによるものではなく、「そのアルゴリズムが結果としてプロンプトを保持できていたかどうか」という交絡要因に過ぎなかったことが実証されました。プロンプトさえ確実に保護されていれば、思考トレースに対する重要度スコアリングの追加的な寄与はほとんど存在しないことが明らかにされたのです。

著者らの報告によると、約4倍のキャッシュ圧縮条件下において、プロンプトを保護したRandom Attentionは、4つの推論モデルおよび6つの難関推論タスクすべてにおいて、先行する代表的手法であるTriAttentionと同等の回答精度を維持しました。

さらに劇的な差が観測されたのは、vLLMを用いた推論サービング環境における処理速度です。TriAttentionなどのスコアリング手法では、新しいトークンを生成するたびにアテンション重みの集計やトークンの並べ替えが必要となり、この計算オーバーヘッドがサーバーの処理速度を圧迫していました。

これに対し、スコア計算パスを完全に排除したRandom Attentionは、TriAttentionと比較して32%から43%高い推論スループット（単位時間あたりの処理リクエスト数）を達成したと報告されています。推論精度を一切犠牲にすることなく、実運用におけるサーバーの処理能力を3割から4割以上引き上げられることを示しています。

なお、これらの数値はすべて原論文の著者らが設定した実験環境とモデルにおける報告値であり、第三者機関による独立した追試結果ではない点には留意が必要です。

この成果は印象的ですが、どのような業務や入力に対しても無条件に適用できるわけではありません。著者らはその適用範囲と明確な限界についても詳細に言及しています。

第1の限界は、「プロンプトそのものが極端に長い入力ケース」です。例えば、大規模なプログラムのリポジトリ全体や数百ページに及ぶ契約書を一度にプロンプトとして入力する場合が該当します。Random Attentionはプロンプトを完全に保護する設計であるため、プロンプトだけで割り当てられたメモリ予算の大半を使い果たしてしまい、思考トレースを破棄してメモリを節約する余地がほとんど残りません。

第2の限界は、「思考の冗長性が成立しないタスク」です。本手法は、思考が進む過程で前提や計算結果が繰り返し言及されるという性質に依存しています。したがって、データベースから特定の数値を一箇所だけ抜き出す事実検索（リトリーバル）や、短文での単純な一問一答など、文脈内の情報重複が少ないタスクでは、ランダムに間引かれたトークンが不可逆な情報損失を招き、推論精度が著しく低下する危険性があります。

前述のアナリストの例えで言えば、最初の指示書に膨大な数値データ表が載っている場合や、一度しか登場しない固有の製品型番を照合するような作業では、この手法の前提が崩れてしまいます。

実運用への展開に向けては、いくつかの重要な未解決の問いが残されています。

まず、検証された中心的な条件は約4倍圧縮であり、8倍以上の強い圧縮を課した極限環境において、いつ推論の論理破綻が起きるかという限界線は未解明です。

また、タスクごとに思考の冗長性がどの程度含まれているかを、事前に自動判定する定量的な指標も確立されていません。さらに今回のスループット向上はvLLMという特定の推論基盤上で測定されたものであり、他の推論エンジンや異なるハードウェア環境、新たなモデルアーキテクチャにおいても同様の利得が得られるかについては、今後のエンジニアコミュニティによる追試と検証を見守る必要があります。