Memory Tax：エージェント記憶の利益と損失を生の履歴検索と比べる

会話を続けるエージェントでは、以前のやり取りを後の回答に使う必要がある。そのための記憶は、履歴をそのまま残すだけでなく、要点を抽出したり、情報を関連付けたりして作られる。整理によって必要な内容を見つけやすくする狙いがある一方、加工の途中で細部が消える可能性もある。

たとえば、過去の打ち合わせを参照して答える業務アシスタントを考える。要約された記憶があれば、会話全体を探すより答えに近づけるかもしれない。しかし、質問に必要な発言が要約から抜けていれば、生の議事履歴を検索した方が答えられる。この例は仕組みを理解するためのもので、実験で業務会議の性能を測ったという意味ではない。

著者らは、既存研究には他の記憶方式との比較を中心とし、生履歴を検索するRAGを省略したり、設定を十分に記述しなかったりするものがあると指摘する。それでは、検索そのものの効果と、加工の追加価値を区別しにくい。

本研究の中心は、同じ質問について直接検索と記憶の正誤を突き合わせることだ。参照となるRAGが誤答し、記憶が正答した質問をmemory benefitと呼ぶ。逆にRAGが正答し、記憶が誤答した質問がMemory Taxである。後者は、記憶の加工に伴って失われた正解を数える概念だ。

同じ質問集合なら、利益側の割合から損失側の割合を引いたものが、両方式の正答率差に対応する。両方が正答した質問や、両方が誤答した質問は、この差を生まない。この見方によって、平均点だけでは隠れる回答の入れ替わりを追える。

ただし、利益も損失も参照系に依存する。論文の質問単位の分解は、1ラウンドのRAGが基準だ。後述する2ラウンドRAGとの総合成績の比較とは、基準を分けて読む必要がある。強い検索方法を基準にすれば、記憶が追加で提供できる価値の見え方も変わる。

記憶を使う処理は、履歴から記憶を構築し、質問に応じて記憶を検索し、得た文脈から回答する流れとして整理できる。損失はこの流れの異なる場所で生じる。構築時に情報を落とす場合と、情報は残っていても質問から検索しにくくなる場合は、分けて調べる必要がある。

打ち合わせの例なら、必要な発言が記憶から消えるのが前者だ。発言の内容が複数の記憶に分散したり、別の話題に埋もれたりして取得されないのが後者に当たる。著者らは、断片化、無関係な情報による希釈、言い換えを検索が難しくなる事例として示す。

したがって、記憶の文章が簡潔になったことや、元情報がどこかに存在することだけでは、回答への有用性を判断できない。本研究は、情報保持、検索可能性、さらに回答モデルを変更したときの性能変動を通じて、加工の損失を調べる。

参照系のRAGは、生の履歴を無加工で一括投入する方式ではない。会話ターンや観測ステップを単位とし、セッション境界を保って検索用にまとめ、長すぎるターンは分割し、日時を付ける。元の内容を最小限の加工で検索可能にする設計だ。

検索では、単語の一致を使うBM25と、意味の近さを使う埋め込み検索から候補を集める。候補の重複を除き、質問との関連性を判定する別モデルで順番を付け直してから回答に使う。2ラウンド版では、モデルが証拠不足と判断した場合に、追跡質問で追加検索を行う。

比較対象は、平坦型、階層・ライフサイクル型、グラフ型、学習済み方策型に分類された11の記憶システムである。さらに、文脈なし、全文脈、正解根拠だけを与える参照条件も置く。記憶方式同士の順位だけでなく、どの情報へのアクセスが回答を変えたかを読むための構成になっている。

会話記憶の評価にはLongMemEval-s、PersonaMem-v2、MINT-Evalを使う。通常のLongMemEval-sは500問、PersonaMem-v2は40コーパス934問、MINT-Evalは60コーパス1557問である。GPT-5.6 LunaのLongMemEval-sは100コーパスに限る。費用上の制約から、PersonaMem-v2とMINT-Evalもそれぞれ全体の20%、10%に当たる層化部分集合で評価している。

回答側の基盤モデルはQwen3.5-4B、Qwen3.6-27B、GPT-5.6 Lunaの推論量lowという3条件だ。埋め込みと利用時の再順位付けモデルは原則として共通化する。ただし、学習済み方策を使うMem-TとMemory-R2では、その方策の公開モデルを保つ。

検索量についてはRetrieval Scopeを使い、各方式がストア全体のどの程度にアクセスしたかを調整する。記憶側はRAG以上の相対検索範囲を目指すが、厳密な入力トークン数の一致ではない。大きな記憶ユニットを持つ方式などには例外もある。公開設定を完全に固定した比較ではなく、共通化や検索範囲の調整を含む点も押さえたい。

情報保持を調べるため、著者らはoracle実験を行う。これは、正解につながる根拠を直接与えて検索の失敗を除く実験だ。正解根拠の生ターンと、それに対応する記憶ユニットからの回答を比べれば、構築段階の損失を調べられる。

別に、3ベンチマークの生履歴から500ターンを抽出し、元ターンと対応する全記憶ユニットを人手で比較した。分類は完全保持、部分欠落、大幅欠落、対応ユニットなしである。この人手分析は正解根拠だけに限定せず、事前にLLMで対象を選別していない。

検索可能性の分析では、既に取得したユニットを除外しながら検索を反復し、全正解根拠を集めるまでを追う。さらに、同じ証拠の生表現と記憶表現について、質問との類似度の変化を調べる。ただし、類似度の絶対値を異なるストア間で直接比べることはできず、検索失敗の完全な説明にもならない。あくまで原因を探る診断として読むべき結果である。

主な成績は、回答の正誤を判定して得る正答率である。著者らによるQwen3.6-27B採点器と人手のラベル一致率は、LongMemEval-sで95.1%、PersonaMem-v2で100.0%、MINT-Evalで97.3%だった。ただしPersonaMem-v2は主に選択肢の文字の一致で採点するため、自由記述回答を完全に判定できたという意味にはならない。

RAGの設定を変える検証も行う。LongMemEval-sの500問、Qwen3.6-27Bでは、標準のハイブリッド検索が77.6%、BM25のみが68.2%、埋め込みのみが72.6%、固定窓による分割が69.4%だった。ただし単独検索の条件では再順位付けも外れており、差を検索候補の統合だけの効果とはみなせない。

構築モデルと回答モデルを3種類ずつ交差させる検証もある。LLMが検索に関与しない場合は取得ユニットを固定し、関与する場合は回答モデルに応じて検索し直す。著者らは、多くの記憶方式でモデル変更による性能変動がRAGより大きいと報告する。記憶の有用性が、構築後も同じように保たれるとは限らないことを示す検証だ。

著者らの報告では、LongMemEval-sの2ラウンドRAGは、3つの基盤モデルすべてで全比較記憶システムを上回った。Qwen3.5-4B、Qwen3.6-27B、GPT-5.6 Lunaの順に、正答率は72.2%、81.4%、90.0%である。GPTの結果は100コーパスの層化部分集合に基づく。

同じ順で1ラウンドRAGは70.2%、77.6%、82.0%、記憶方式A-Memは70.4%、79.4%、84.0%だった。A-Memは1ラウンドRAGには勝つが、2ラウンドRAGには届かない。比較対象の検索をどこまで強くするかで、主張できる範囲が変わる。

一方、専用記憶が2ラウンドRAGに勝つ条件もある。PersonaMem-v2のQwen3.6-27BではMemOSが50.2%、RAGが48.7%で、差は1.5パーセントポイント。MINT-EvalのGPT-5.6 LunaではMem-Tが38.4%、RAGが34.5%で、差は3.9ポイントだった。これらは記憶全般の無効性を示す結果ではなく、追加価値がタスクとモデルに依存するという結果である。

500ターンの人手分析では、完全保持率はMemoryOSが98.4%、MAGMAが93.6%、SimpleMemが65.6%、OpenVikingが39.4%だった。OpenVikingでは、対応する記憶ユニットがないターンも38.0%あった。記憶の構築方式によって、元情報の残り方に大きな違いが見られる。

ただし、これは抽出したターンの情報保持を測った値で、正答率でも、全履歴の保持率でもない。情報を残せても、質問に必要な部分を検索し、回答に使えなければ正答にはつながらない。実際、著者らは記憶側が初回検索で根拠を回収しにくい傾向も報告する。

根拠を使う分析自体にも範囲がある。対象は正解根拠が存在する質問に限られ、MINT-Evalでは1557問中765問である。根拠と記憶の対応付けにも見落としや余分な選択が残り得る。したがって、これらの診断から全誤答の原因や、方式全体の優劣まで説明できるわけではない。

LongMemEval-sの100コーパス、GPT-5.6 Lunaの条件では、1ラウンドRAGは正答率82.0%、構築0.11時間、オンラインQA合計3.4分だった。2ラウンドRAGは90.0%、0.11時間、7.7分である。追加検索で正答率が上がる一方、回答処理の合計時間も増えた。

A-Memは84.0%、構築117.0時間、オンラインQA合計3.2分。MemoryOSは80.0%、126.5時間、135.6分だった。A-Memのオンライン時間は1ラウンドRAGより短く、記憶方式が常に回答時にも遅いとはいえない。事前構築に負担をかけることと、回答時に時間をかけることは、異なる判断材料である。

これらの時間は、異なる並列度を単一並列度相当に換算したベンチマーク全体の集計値だ。1質問あたりの待ち時間ではなく、接続先の処理速度の変動も残る。正答率と合わせて読めるが、そのまま利用者の待ち時間や金銭的な節約額へ置き換えることはできない。

著者らは、加工した記憶と元履歴を並行検索し、候補をまとめて再順位付けする回復経路を提案する。また、過去の質問と取得根拠を記憶へ追加する方法も試し、概念実証として改善を報告している。打ち合わせの例なら、要約から答えが見つからない場合にも、元発言に戻れる余地を残す発想だ。

ただし、提供資料には対応する数値表がなく、改善幅や追加負担は確認できない。質問到着後に対象を絞って処理するJiTという方向についても、オンラインの待ち時間とのトレードオフがある。回復経路を試す価値はあっても、その効果が負担を上回るかは別途確かめる必要がある。元履歴を保持できない条件には、そのまま適用できない。

主な評価は静的・オフライン・英語であり、質問と記憶更新が交互に続く長期運用や多言語対話は未検証だ。比較方式は代表例で、個別調整による改善の余地もある。次に注目すべきは、継続更新下でも得る正解が失う正解を上回るか、モデル交換後も価値が続くか、回復経路の改善量と待ち時間がどう釣り合うかである。