SpeakerMem-R1：複数人の長期対話を発話者中心の二系統メモリで再構成する

長期対話メモリの基本的な仕事は、過去の会話から質問に関係する証拠を取り出すことだ。しかし複数人の会話では、同じ話題の発言を見つけても、それだけで回答できない。発話者と話題の対象が異なることがあり、個人の意向と集団の合意も別物だからだ。さらに、複数の出来事が並行し、古い状態と新しい状態が会話の各所に散らばる。

たとえば、長期プロジェクトの会議で、佐藤が「田中は顧客説明を担当する」と述べ、その後に鈴木が「担当は山田へ変更された」と報告したとする。「田中について誰が何を述べたか」と「現在の担当者は誰か」では必要な証拠が違う。単純な関連性検索は両方の発言を拾えても、発言者、対象、更新順序を保てなければ誤答しうる。この例は仕組みを示すための説明であり、論文の評価事例そのものではない。

論文は、BM25、密検索、Mem0、A-MEM、HippoRAG、実行可能な場合のFull contextを比較対象とする。検索、要約、グラフ型メモリには、圧縮や関連付けによって必要な情報を見つけやすくする利点がある。一方、複数人対話で重要な全参加者の被覆、発話の帰属、PERSONとGROUPの範囲、状態の新旧まで自動的に保証するわけではない。

とくに低頻度の参加者は要約から消えやすい。source、つまり情報を述べた人と、owner、つまり情報の対象となる人の向きを失えば、「佐藤が田中について述べた」を「田中自身の発言」と誤って扱う恐れもある。SpeakerMem-R1が対象とするのは、検索モデルだけの問題ではなく、保存時の構造と質問時の再構成を含む問題である。

SpeakerMem-R1の中心は、原文と解釈済みの状態を一つに潰さないことだ。System 1は、発話本文にspeaker、sessionまたはturn、timestamp、channel、message identifierを付け、決定論的に追記する。原文を非破壊で残すため、細かな表現や周辺発言を後から確認できる。

System 2は、原文から導いた状態をPERSON範囲とGROUP範囲に分ける。PERSON側にはCoreとProfile、GROUP側にはInteractionとInsightがある。各記録はsource、owner、event、time、stateを持ち、from_idsで根拠の原文に結び付く。前者が証拠の忠実さ、後者が状態の見通しを担い、質問時に両者を組み合わせる。

System 2を作るWriterは、局所的なメッセージ、参加者名簿、現在の派生状態を読み、Add、Update、Noopのいずれかを生成する。新情報ならAdd、既存状態が変わればUpdate、保存すべき変化がなければNoopである。重要なのは、Updateが旧ノードを上書きしない点だ。新しいノードを追加し、古いノードからsuperseded_byというリンクでつなぐ。

先の担当変更なら、田中が担当するという過去状態を消さず、山田へ変更された新状態を追加する。これにより「現在は誰か」だけでなく「以前は誰で、どう変わったか」にも対応しやすくなる。ただし、更新の正しさは発話者、対象人物、時刻を正しく識別できることに依存する。

質問時にはProjectが、調べるべきPERSONまたはGROUPの行、issue、source–owner関係、時間モードを生成する。headは現状態だけを、fullは更新鎖を含む履歴を対象にする。その後、Anchor–Separate–Resolve–Composeという処理が、出典と対象を固定し、名簿に沿って人物・集団の行を分離し、並行する出来事と状態版を解決してから、両経路の証拠を回答用にまとめる。

主実験の既定設定では、System 1がまず40件を再現候補にし、Selectと隣接発話のExpandを経て上位10件に絞る。System 2は各owner行から2件、sourceの補助から1件を取る。派生状態が空なら、その人物の原文へ戻り、それもなければ空行を残す。ASKを有効にした場合、証拠不足と判断した後に限り、追加検索を最大1回行う。これは情報量を無制限に増やす仕組みではなく、対象と予算を制御した検索である。

構造化メモリを作る小型Writer-R1はQwen2.5-3Bを基盤とする。学習では、ownerごとに発話者付き系列の違いを測るSpeakerLevenshtein、更新鎖の整合、構造の妥当性に加え、System 1だけの場合よりSystem 2を加えた場合に最終QAが改善したかを報酬に含める。speaker-conditioned GRPOによって更新するのはWriterだけで、検索・回答モジュールは固定される。

この設計は、見た目が正しい構造を出すだけでなく、最終的な質問応答に役立つ状態を書くことを狙う。ただし学習データは15ネットワーク、73 writing segmentsと小規模である。実ネットワークの教師軌跡も、手作業による項目別ゴールドではなくDeepSeek-V4-Flashの代理教師から得ている。

主要評価はGroupMemBench 745問、SocialMemBench 1,031問、EverMemBench 2,400問で行われた。主指標は質問単位の二値正解率、補助指標はtoken-F1である。著者らは、各方式の公式コード、推奨設定、公式プロンプトを保ちながら、データ、指標、判定モデル、評価インターフェースを統一したとしている。

この統一は同じ枠内での相対比較を読みやすくするが、指標の限界は残る。二値正解率はLLMによる判定に依存する。token-F1は回答間の表層的なトークン一致を測るため、意味的正しさと同一ではなく、二つの指標が常に同じ方向へ動くとも限らない。また、各ベンチマークでSpeakerMem-R1の最高精度設定を選ぶ主結果は、一つの固定設定がすべてのデータで優位だと示すものではない。

著者らは、System 1とSystem 2、PERSON層とGROUP層を個別に外すアブレーションを行った。さらに、ASKの有無、取得件数の感度も調べた。Writer-R1の学習効果については、保持したSocialMemの10ネットワーク、305問、ASKなしという制御条件で、検索・回答パイプラインを固定してSFT Writerと比較した。

これらは、最終精度だけでは分からない「どの部品が寄与したか」を確かめる試験である。一方、305問の制御評価や検索予算の感度試験は範囲が限られる。主実験全体、別分野、別言語、実運用環境に同じ効果が広がることまでは確立しない。

著者報告によると、DeepSeek-V4-Flash構成から各ベンチマークで最良設定を選んだとき、二値正解率はGroupMemBench 47.9%、SocialMemBench 69.2%、EverMemBench 61.9%だった。同じ評価枠組みにおける非Full-context主要ベースラインの最高値は順に44.6%、56.8%、52.5%で、差は3.3、12.4、9.4パーセントポイントである。これは相対改善率ではない。

別の公開EverMemBench比較条件では、回答にGPT-4.1-mini、判定にGemini-3-Flashを使い、2,400問中1,496問に正解して62.33%だった。EverOSの値は、丸め済みカテゴリ値から再構成した約60.08%である。このため順位の参考にはなるが、両値の算出精度が同じだとは扱えない。

共通の検索予算によるアブレーションでは、System 2を外した精度がSocialMem、GroupMem、EverMemの順に54.80%、42.01%、48.92%、System 1を外すと42.58%、33.15%、38.33%だった。いずれも最良の完全構成69.2%、47.9%、61.9%を下回った。PERSON層だけ、またはGROUP層だけを除いた場合も低下したと報告されている。

この結果は、原文があれば構造化状態は不要、あるいは構造化状態があれば原文は不要、という単純な代替関係を支持しない。原文は細部と検証可能性を、派生状態は人物・集団・時間をまたぐ整理を受け持つ、という説明と整合する。ただしアブレーションは、この特定の構成と評価条件における寄与を示すもので、同じ四層構造があらゆる対話に最適だと証明するものではない。

ASKなしの精度はSocialMem、GroupMem、EverMemで69.2%、47.0%、60.5%、ASKありでは64.9%、47.9%、61.9%だった。補助検索はGroupMemで0.9ポイント、EverMemで1.4ポイント改善した一方、SocialMemでは4.3ポイント低下した。追加証拠が常に回答を良くするわけではなく、不要または競合する情報を混ぜる可能性がある。

固定メモリ、305問、ASKなしの検索予算感度試験では、9設定中、System 1のtop-kが20、System 2のkが4の条件で、正解率73.11%、token-F1 26.53%がともに最高だった。しかしSystem 2を4件から6件へ増やすと、同じSystem 1条件で71.15%、25.78%へ低下した。この補足試験はSystem 1のrecall-nをtop-kと同じにした条件であり、主実験の既定設定をそのまま置き換える結果ではない。

10ネットワーク、305問の制御評価では、Writer-R1が68.20±0.66%、SFT Writerが57.38±0.33%で、平均差は10.82ポイントだった。LLM writer参照の71.48±0.66%には3.28ポイント届かなかった。検索・回答部分を固定した比較なので、この範囲ではWriterの学習方法による差を比較しやすい。ただし、小規模な保持データでの結果であり、広範な強化学習の一般化を示す証拠ではない。

二者対話の境界試験であるLoCoMo全1,986問では、1,407問正解の70.85%だった。一方、Multi-hopは41.13%、Open-domainは40.62%にとどまった。したがって、複数箇所の証拠を長くつなぐ推論や、メモリ外知識を要する問いは弱点として残る。そもそもLoCoMoは二者対話であり、複数人評価の代替にはならない。

適合しやすいのは、参加者名簿、発話者、時刻、チャネルを信頼して取得でき、原文への遡及が必要な会議やグループチャットである。個人の見解、他者への認識、集団の決定、状態変更を分けて問う用途にも研究上の設計は合う。反対に、別名の解決や発話者同定が不安定な場面、暗黙の聴衆や参加者の増減が多い場面では前提が崩れる。並行イベントの扱いも未解決である。

計算面も判断材料が不足している。3ベンチマークの最終結果処理における総量は、SpeakerMem-R1+ASKが40,562,975 tokens、BM25が5,383,982 tokensだった。ただし、取り込み単位や処理内容が異なるうえ、この集計は判定段階を除く処理トークン数である。壁時計時間、エンドツーエンド遅延、金銭費用の比較ではない。次に見るべき証拠は、異分野・異言語での再現、名寄せや参加者変更に対する耐性、実環境での遅延、そして同等の回答品質を前提とした処理量の比較である。