ユーザー行動シミュレーション推薦エージェント評価オンポリシー蒸留

UserArena:長期の買い物行動を再現するユーザーシミュレーターの評価基盤

次の一手の正しさから、複数回の訪問と施策への反応を再現できるかへ

UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents

論文の書誌情報と関連リンク

ポッドキャスト形式で聴く

約5分

AI生成の会話音声です。記事の要点を短くまとめています。

概要

買い物エージェントの推薦施策をオフラインで試すには、仮想の買い物客(ユーザーシミュレーター)が、次の一手だけでなく、複数回の訪問と施策への反応まで再現できなければなりません。本論文は、ECの実ログ(11,010人、64,729セッション)に対話環境と本番A/Bテストとの照合を組み合わせた評価基盤UserArenaと、学習手法OPTD(On-Policy Trajectory Distillation)を提案します。OPTDは、小型モデルが自分で書いた応答の各トークンを、利用者の軌跡全体から抽出した「意図」を知る教師の分布で指導します。著者らの報告では、単一セッションの次行動予測で比較手法中最高の値を示し、同一ランキング方策対の本番A/B照合でも、シミュレーション上の施策効果が本番の0.713倍と最も近い結果でした。ただし28.7%の過小推定が残り、検証は一つのECプラットフォームと一つの方策対に限られ、全指標で首位でもありません。

著者をもっと詳しく知る(全8名)

論文と確認可能な公式情報に基づき、著者の所属と研究背景を掲載しています。

全著者と所属

  1. Jujia Zhao
    所属情報なし
  2. Jiakai Tang
    所属情報なし
  3. Jing Yu
    所属情報なし
  4. Wen Chen
    所属情報なし
  5. Han Zhu
    所属情報なし
  6. Fei Sun
    所属情報なし
  7. Suzan Verberne
    所属情報なし
  8. Zhaochun Ren
    所属情報なし

なぜ注目されているか

取得時点のHugging Faceでは55 upvotes、コメント2件が記録され、関連リポジトリのスター数は11と表示されている。議論へのリンクはあるが、取得資料にコメント本文は含まれていない。

議論全体へのリンク

なぜ重要なのか

推薦施策の効果は、本番のA/Bテストにかけるまで分からない、という前提で運用されがちです。オフラインの模擬ユーザーが施策への反応まで再現できるなら、候補案を本番前に絞り込める可能性があります。この論文は、次の行動を当てる精度と、施策効果を再現する力を、別々の評価対象として扱います。評価を五段階に分け、既知のA/B結果で校正する発想は、模擬ユーザーを信頼してよい範囲の見極め方を変えうるものです。ただし根拠は一つの方策対に限られ、本番テストの代替とまでは言えません。

この記事に出てくる言葉(6語)
ユーザーシミュレーター

画面と過去の行動を受け取り、実際の利用者のように次の行動を選ぶモデル。

この論文では

Qwen3.5-2Bが、短い根拠と構造化された行動を出力する。

Replay/Rollout

Replayは実ログの各時点で次の一手だけを予測させる評価。Rolloutはモデル自身の行動で画面を進め、最後まで走らせる評価。

この論文では

Replayは局所の判断(L1)、Rolloutは長期の行動・集団差・結果(L2〜L4)に使う。

教師強制(teacher forcing)

学習中、常に記録された正しい履歴を与えて次を当てさせる方法。

この論文では

学習時と実行時の履歴のずれ(露出バイアス)が課題とされる。

オンポリシー蒸留

OPTD

学習中のモデル(学生)自身の出力に、教師モデルの確率分布で指導する方法。

この論文では

OPTDでは、学生が作った一つの応答の各トークンが対象。

軌跡意図

z

利用者の行動全体から要約した、好み・懸念・情報需要・比較基準・条件付きの傾向。

この論文では

具体的行動や商品ID、結果は含めず、凍結教師にだけ与える。

効果比

r

シミュレーションでの施策効果(処置群と対照群の差)を、本番の同じ差で割った値。

この論文では

PV-CTRで測り、OPTDは0.713。1なら本番と同じ大きさ。

1. 読む前に知っておきたいこと

仮想の買い物客で施策を先に試す

ECアプリの推薦チームが、商品の並び順を決めるランキング方策の新案を検討しているとします。本番のA/Bテストは、利用者を二群に分け、片方だけに新案を出して成果を比べる方法です。確実ですが、実ユーザーを使うため、候補が多いと全部は試しにくくなります。そこで、利用者のように振る舞う仮想の買い物客(ユーザーシミュレーター)に先に試させたくなります。以後はこの例で説明します。ただし仮想の買い物客は、過去ログから行動の傾向を学んだモデルで、実際の動機を持つわけではありません。どこまで信頼できるかは、何をどう測ったかで決まります。

次の一手の正解率では足りない

必要なのは、画面ごとに次の行動を当てることだけではありません。一回の訪問(セッション)で商品を見比べ、日を改めて何度も訪れ、クリックやカート追加を経て終える一連の流れ(軌跡)を再現できるか。さらに、並び順を変えたとき、本物の利用者と同じ程度に反応するかです。

著者らは既存の資源の不足を二点挙げます。一つは、長期の実ユーザー軌跡、画面の見え方に対応した細かい行動、そして施策比較を本番A/B結果と照合する仕組みが、まとまって提供されていないこと。もう一つは、記録された行動との完全一致を目標にすると指導が疎になることです。妥当な別の行動も不正解になり、応答ごとの一つの報酬値では、長期の一貫性も捉えにくくなります。

教師強制による食い違い

模擬ユーザーとなる言語モデルは、画面と履歴を読み、短い根拠と行動を一語(トークン)ずつ書き出します。標準的な学習法である教師強制では、実ログの正しい履歴を毎回与え、その続きを当てさせます。しかし実際に動かすと、モデルは自分が出した行動の積み重ねの上で次を決めます。学習中に見なかった履歴に出会うわけで、この食い違いを露出バイアスと呼びます。著者らは、学習中のモデル自身が生成した出力の上で指導するオンポリシーの考え方で、これに取り組みます。

UserArenaのデータと環境

UserArenaは、一つのECプラットフォームの匿名化ログから作られ、11,010ユーザー、64,729セッション、577,670行動、566,102商品、13種類の行動を含みます。訪問を時系列でつないだ複数セッション部分は、5,768ユーザー、59,378セッションで、ユーザー当たり平均10.29セッション、86.36行動です。

環境は、推薦フィードと商品詳細ページをオフラインで再構成したものです。事前に描画したフィードの表示領域をスクロールで切り替え、画面に映る商品なら、実ユーザーがクリックしなかったものでも詳細ページを開けます。画面は実ユーザーのキャプチャではなく、ログからの再構成です。データはクリックの54.90%が衣料品で、購入は全行動の1.02%にとどまります。

2. 手法と評価

評価を5段階に分ける

評価には二つのモードがあります。Replayは、実ログの各時点の状態から次の行動だけを予測させ、実際の行動と比べます。Rolloutは、モデル自身の行動で画面を進めて最後まで走らせ、できた軌跡を実ログの統計と比べます。

指標は五段階です。L0は、環境が実行できる有効な出力を両モードで返せた率です。L1はReplayでの局所判断で、macro-F1(行動種ごとのF1を等しい重みで平均した値)と、行動種別の正解率の平均(精度。スクロール4種は除く)を測ります。商品やコメントのクリックは、対象も一致して初めて正解です。L2は逐次行動で、商品ページでの最初の意思決定の分布のずれ(DM-JSD)と、平均行動数の差(TE)を見ます。JSDは二つの分布の違いを表し、0に近いほど似ています。L3は個別化で、閲覧履歴の違う利用者群ごとの行動の出方の一致度(PF、高いほど良い)です。L4は結果で、行動数ベースのクリック率とカート追加率の絶対誤差(ΔCTR、ΔACR)と、セッションの終わり方の分布のずれ(T-JSD)を測ります。

OPTD:意図を知る教師が学生の応答に助言する

著者らは評価基盤とは別に、学習法OPTDを提案します。仮想の買い物客を「学生」、学習中は更新しない固定のモデルを「教師」と呼びます。教師は、学生と同じ出発点、つまり教師あり微調整(SFT。記録された応答を正解として学ぶ通常の学習)を終えたモデルを凍結したものです。

手順はこうです。実ログから一つの状態(現在の画面と履歴)を取り出し、学生がそこで短い根拠と構造化された行動を一つ生成します。教師はその応答を一語ずつ読み、各位置で「次に何が来やすいか」の確率分布を返し、学生はそれに近づくよう学びます。正解の一語だけでなく分布全体を受け取るため、指導が疎になりにくいことが狙いです。

教師が学生と違うのは、「意図」を条件に受け取れる点です。意図は、利用者の訪問全体から要約した好み、懸念、情報需要、比較基準、条件付きの意思決定傾向で、具体的な行動、商品識別子、正確な価格、結果、未来のページ内容は含みません。学生には意図も未来の観測も直接渡さず、推論時にも意図は使いません。さらに、意図ありの分布が意図なしの分布から離れすぎないよう、歯止め(trust region)をかけます。二つの分布を対数確率の空間で混ぜ、意図なしの分布からのずれ(KL発散。分布の違いを測る別の尺度)が予算内に収まる最大の割合を、トークンごとに選びます。

目的関数は次の式です。

L=Ldist+γLGTL = L_{\text{dist}} + \gamma L_{\text{GT}}

LdistL_{\text{dist}}は、学生が生成したトークン上で教師分布と学生分布の距離(一般化Jensen–Shannon発散)を平均した項、LGTL_{\text{GT}}は記録された根拠・行動・終了トークン全体に正解を当てさせる教師強制の項、γ\gammaは両者の重みです。

比較条件と本番A/B照合

主比較では、全手法を同じ小型モデルQwen3.5-2B、最大32kトークンの文脈で揃えます。比較対象は、テキスト入力のRecAgent、Agent4Rec、SimUSER、Shop-R1、Customer-R1、AlignUSERと、画面入力のA/B Agent、STAの8手法です。環境、行動空間、テスト分割、出力形式は共通で、各手法の観測方式や学習目的は保たれます。分割は利用者単位の8:1:1で、同じ利用者の全セッションを同じ側に置きます。Rolloutには行動数の上限(単一セッション31、複数セッション42)があり、終わらない軌跡は打ち切りとして扱います。

本番照合は、本番で実施された同一ランキング方策の対(処置群と対照群)を参照します。シミュレーションでは、固定した10,000ユーザーを各群5,000人に割り当て、商品カタログも固定して同じ方策対を走らせます。指標はPV-CTR、つまりクリック数を露出ページビュー数で割った値で、反復露出を含みます。

r=ΔsimΔprod,e=∣1−r∣r = \frac{\Delta_{\text{sim}}}{\Delta_{\text{prod}}},\qquad e = |1 - r|

Δsim\Delta_{\text{sim}}はシミュレーションでの処置群と対照群のPV-CTRの差、Δprod\Delta_{\text{prod}}は本番での同じ差、rrが効果比、eeが1との差の絶対値(効果誤差)です。r=1r=1なら本番と同じ大きさの効果を再現し、1より小さければ過小、大きければ過大です。主表の行動数ベースのCTR誤差とは別の指標です。

この評価で言えることと言えないこと

この設計で確かめられるのは、同じログ、環境、分割の下で手法を同じ物差しで比べたときの相対的な順位と、既知の本番結果に対する施策効果の再現度です。一方、照合は一つの方策対に基づき、データも一つのECプラットフォーム由来です。ベンチマークの設計者と手法の提案者は同じ著者で、論文は2026年10月22日提出のarXivプレプリントです。確認できた範囲では、独立した再現や導入実績を示す一次資料はありません。また、SFTに使う短い根拠文は大型モデルのQwen3.5-397Bが作成しましたが、比較手法が同じ根拠を使えたかは、確認できた本文からは分かりません。

3. 結果と限界

単一セッション:局所予測と、Rolloutの六指標

以下はすべて著者らの報告です。データはUserArenaの単一セッション、全手法がQwen3.5-2Bです。ReplayのL1では、OPTDのmacro-F1が0.4178、精度が0.3204で、次点のCustomer-R1は0.4108と0.3114でした。差は0.0070と0.0090で、試行ごとのばらつきを超えるかは、確認できた範囲では分かりません。

Rolloutでは六指標で首位でした。DM-JSDは0.0156(次点STAは0.0245)、TEは1.72(STA 1.77)、PFは0.8692(STA 0.7958)、ΔCTRは0.0026(Customer-R1 0.0227)、ΔACRは0.0430(STA 0.1880)、T-JSDは0.0387(SimUSER 0.0664)です。ΔACRでは誤差が次点の4分の1弱、TEは次点とほぼ並ぶ水準で、差の大きさには濃淡があります。一方、有効出力率(RVA/OVA)は0.9773/0.9712で、OPTDは首位ではありません。

複数セッション:長期では首位が分かれる

複数回の訪問をつないだ設定では、8指標のうちOPTDが首位なのは5つです。精度は0.2969(STA 0.2919)、DM-JSDは0.0284(STA 0.0465)、TEは0.72(STA 0.81)、PFは0.8929(STA 0.8911)、T-JSDは0.0077(STA 0.0173)。精度とPFの差はごく小さく、DM-JSDとT-JSDでは相対的に大きめです。

残る3指標は他手法が首位でした。macro-F1はSTAが0.3556でOPTDは0.3456、ΔCTRはSTAが0.0099でOPTDは0.0357、ΔACRはA/B Agentが0.0096でOPTDは0.1399の次点です。OPTDが次点なのは8指標中2つです。行動の流れや終了状態の再現ではOPTDが優位でも、クリック率やカート追加率の水準は、別の手法が近い場面がありました。

本番A/B照合:最も近いが、過小推定が残る

同一ランキング方策対の照合で、OPTDの効果比は0.713、効果誤差は0.287で、比較対象の中で最も本番に近い値でした。ただし1に届かず、本番の効果を28.7%小さく見積もっています。これは本番効果に対する相対的な差で、28.7パーセントポイントではありません。

他の手法の効果比/効果誤差は、STAが0.297/0.703、Customer-R1が0.191/0.809、Shop-R1が0.162/0.838、AlignUSERが0.020/0.980、Qwen3.5-2Bが0.004/0.996です。多くは効果を大きく過小に見積もり、AlignUSERとQwen3.5-2Bはほとんど反応していません。GPT-6-Solは1.576/0.576、GPT-6-Lunaは2.154/1.154と、逆に過大でした。同じ施策でも、効果の大きさの見積もりは手法によって大きく食い違います。推薦チームの例なら、新案の効果を約7割に見積もる模擬ユーザーが、別の新案でも同じ程度の偏りで見積もるかは、まだ分かりません。本番効果の絶対値、信頼区間、検定結果、複数の方策対での検証も、確認できた本文には示されていません。

補助的な検証:アブレーション・人手評価・効率

アブレーション(要素を一つずつ外す実験)では、オンポリシー、意図、trust region、grounding、SFT初期化を、他の条件を固定して個別に外しました。どれを外しても、L1〜L4から選んだ代表指標の少なくとも一つが悪化し、SFT初期化の除去が特に大きく響いたと報告されています。個別の数値は確認できた本文になく、寄与の順位までは言えません。

出所を伏せた人手評価では、実軌跡と生成軌跡の対を3人が独立に判定しました。OPTD、Customer-R1、STA、A/B Agentを各200対で比べ、OPTDは、生成側を正しく機械と見抜かれた率が38.7%で最低、実軌跡を機械と誤判定された率が26.3%で最高でした。判定不能の選択肢があり、Customer-R1ではその率が47.0%と最高です。Fleissのκ(0.528)は評価者間の一致度で、判定の正しさや人間らしさの保証ではなく、「人間と同等」を確定する結果でもありません。

効率では、OPTDはSTAより概して総トークン数が少なく、遅延は近い推移でした。ただし、各ステップに到達した軌跡だけの集計で、具体的な遅延値や金銭コストは示されず、費用削減額には換算できません。

限界、適用範囲、次に見たい証拠

データは一つのECプラットフォームのもので、クリックの54.90%が衣料品、購入は全行動の1.02%です。別の業態や商品構成へ一般化できるかは、この比較では判断できません。本番照合も一つの方策対と固定の観測窓に基づき、別の方策対で効果比が1に近づくかは未検証です。学習の範囲にも注意が必要です。オンポリシー生成は実ログの状態からの一応答に限られ、学生が自由に走って到達した状態全体で学ぶわけではないため、未知の状態への効果は保証されません。OPTDは全面的に最良でもなく、単一セッションの有効出力率や、複数セッションのmacro-F1、CTR誤差、カート追加率誤差では他手法が上回ります。

適用の見通しは、編集上の推論です。記録された状態・行動と完全な軌跡を用意できる現場なら、学習時だけ意図付き教師を使う方式と、局所・長期・施策反応を分けた評価を試す余地があります。一方、一つの方策対の一致を根拠に本番A/Bを全面的に置き換える判断や、費用削減額の見積もりには向きません。データは匿名化され、非商用の研究用途のデータ利用契約の下で公開されており、再識別、外部の個人データとの結合、無許可の再配布は禁止です。コードとデータの公開先は論文が案内しています。次に見たいのは、複数の方策対と別プラットフォームでの照合、信頼区間や検定、独立した再現です。

この研究から考える

ここからは、論文の結果を踏まえた編集上の考察です。

観察された事実は、OPTDが単一セッションの次行動予測でも、同一方策対の本番A/B照合でも比較手法中で最良だったことです(著者報告)。ただし複数セッションではmacro-F1やCTR誤差で他手法が上回り、本番照合でもOPTDは効果を28.7%小さく見積もりました。局所指標の首位と、施策効果を最も近く再現した手法は、一様には一致していません。

ここから編集上の推論として、推薦施策の事前評価では、次の行動の一致率だけで模擬ユーザーを採用せず、長期の行動と、結果が既知のA/B効果への校正を別々に確認する設計が考えられます。推薦チームの例なら、新案を試す前に、過去に本番結果が出ている方策対をどれだけ再現できるかを先に見ることになります。

条件と未知も残ります。照合は一つの方策対、一つのECプラットフォーム、固定の観測窓に基づき、効果の絶対値、信頼区間、検定結果が確認できません。別の方策対や市場で効果比が保たれるかは、追加の検証が必要です。

ホーム画面に追加する

  1. Safariでこのページを開く
  2. ページメニューから「共有」をタップ
  3. 「ホーム画面に追加」を選択
  4. 「Webアプリとして開く」をオンにして「追加」をタップ

追加後は、ホーム画面のアイコンからSingularity Lensを開けます。