ReMaRk：複数の正解をまとめて報酬にし、LLM推薦の強化学習を効率化

仕事で読む本の推薦を依頼し、寄せられた回答から推薦モデルを学習する場面を考えよう。回答者が違えば、条件に合う本でも挙がる題名は異なる。モデルが別の回答者の挙げた本を推薦したとき、採点に使った回答に載っていないという理由だけで、不正解になることがある。これは仕組みを説明する例であり、実験はReddit由来の推薦依頼を対象としている。

比較対象のRank-GRPOは、依頼と回答者の組を学習データの一行とする。生成したリストの各順位について、その回答者が挙げた項目なら報酬を与える。この方式では、推薦内容が同じでも、どの回答者の行が選ばれたかで採点が変わる。さらに行を等確率で選ぶため、回答者の多い依頼ほど頻繁に学習される。採点基準の揺れと、依頼の選ばれやすさが同時に入り込む。

GRPOは、同じ入力から生成した候補群を相対比較してモデルを更新する強化学習手法だ。本研究で使う順位別の方式では、複数の推薦リストの同じ順位を比べる。報酬から候補群の平均を引き、標準偏差で尺度をそろえた値がadvantage、つまり各出力を強めるか弱めるかの学習信号になる。

ここで採点する回答者が変わると、項目への命中判定だけでなく、相対比較の基準も変わる。著者らはReddit-v2の複数回答者を持つ訓練依頼500件について、2BのSFT済みモデルから各8リストを生成して分析した。その条件では、advantageの分散の85%が回答者の選択に由来した。95%信頼区間は84〜87%だった。これは、この分析条件での学習信号の内訳であり、推薦の誤りの85%を説明する数字ではない。

候補がすべてゼロ報酬なら、順位別の比較から有用な差を得られない。そのような候補群の比率は、一人の回答で採点すると55.0%、全回答を使うと12.4%だった。複数回答を使う意義は、採点の揺れを減らすことと、差を学べる場面を増やすことにある。

ReMaRkの変更は明快だ。学習単位を回答者の行から依頼へ移し、依頼を等確率で選ぶ。そして、全回答者が挙げた項目の和集合、つまり重複をまとめた候補集合で採点する。先ほどの本の推薦なら、採点者として選んだ人の回答だけでなく、その依頼に集まった回答全体に題名があるかを見る。

推薦リストは20項目だ。各項目について書式、カタログへの収載、重複、依頼中ですでに挙がった項目でないかを確認する。その条件を満たし、全回答のどこかに現れれば報酬を与える。題名は正規化して照合し、年の差は2年以内を許容する。したがって、何でも正解に加える方式ではなく、照合できる観測済み項目の範囲を広げる方式である。

一方、順位別に候補群を比較する仕組みとGRPOの更新は維持する。学習では依頼48件から各8候補を生成する。リスト全体に同じ評価を与えるのではなく、各順位のadvantageを、その項目を書いた部分に対応させる。出力項目数を整える長さ報酬も併用する。中心にあるのは、新しい生成能力の追加ではなく、既存の出力を何に照らして評価するかの変更だ。

複数回答の統合には、回答者ごとの報酬を平均する方法もある。平均報酬なら、多くの回答者が挙げた本ほど高く評価される。和集合報酬では、誰かが挙げていれば命中となり、支持人数による差はつかない。ReMaRkは回答者の抽選をなくすだけでなく、何を良い出力とするかも変えている。

著者らは、候補群の報酬に依存しない尺度を使う条件では、平均化によって期待される更新を保ちながら回答者由来の分散を除けると説明する。ただし、実際の手法は候補群自身の標準偏差で尺度を決める。そのため、この保証をReMaRkへそのまま適用することはできない。理論が扱うのも、固定したモデルでの一回の更新である。

和集合を採る動機の一つは、平均報酬の細かな差が標準化で強調され得ることだ。支持人数のわずかな違いでも、候補群全体のばらつきが小さければ、大きな学習信号になり得る。二値の和集合報酬は、その性質を避ける狙いを持つ。ただし、これだけで平均報酬より常に優れるとは言えず、実験での比較が必要になる。

主実験は、Qwen3.5の2B・4B・9B・27B・35B-A3BとLlamaの3B・8Bという七つのバックボーン、Reddit-v2・Books・Musicという三つの推薦データセットによる計10設定だ。すべてのモデルとデータセットを総当たりした結果ではない。各比較は共通のSFT済みモデルから始め、長さ制御もそろえた。

固定予算の比較は原則2,000学習ステップを上限とする。250ステップごとに検証し、その範囲で選んだモデルをテストする。比較先は、回答者別報酬と行抽出を使う方式のうち、候補群内で標準化するものと、バッチ全体で標準化するものを検証成績で選んだ、良い方である。弱い比較先だけを置いた設計ではない。

さらに、検証の最高値が1,500ステップ更新されないか、最大8,000ステップに達するまで続ける長時間比較も行った。短い予算で早く改善することと、十分に学習した後の最高性能を分けて確かめるためだ。報酬の統合、標準化、抽出単位を個別に変える分析もあり、改善がどの変更によるかを調べている。

主要指標のR@20は、正解とされた項目のうち、生成した上位20項目に含まれる割合だ。テストでは依頼ごとに一つのリストを生成し、回答者の行ごとに測る値と、依頼内で平均してから集計する値を併記する。順位も考慮する指標NDCG@20も評価している。依頼単位でデータを再抽出するbootstrapを2,000回行い、95%信頼区間を求めた。

この設計は、同じ依頼への回答のまとまりを踏まえて比較できる。ただし、主要指標は回答者が実際に挙げた項目を正解とする。条件に合う本でも、誰も挙げていなければ評価されない。したがって、記録された回答をどれだけ再現できるかの検証として読み、利用者にとっての推薦品質全体と同一視しないことが必要だ。

著者報告では、2,000ステップ以内で検証選択した全10設定で、ReMaRkの回答者行ごとのテストR@20が主要比較先を上回った。差は0.78〜1.57ポイントであり、相対的な改善率ではない。比較先の2,000ステップ時点の検証R@20には、25〜53%のステップ数で到達した。この到達点は検証間の補間による値で、主比較はseed 3407という一つの乱数条件が中心である。

どの変更が効いたのか。Reddit-v2のQwen3.5-2Bでは、依頼を等確率で選ぶ変更だけの差は0.16ポイントで、95%区間は−0.33〜0.66ポイントだった。そこから和集合報酬へ変えると1.40ポイント改善し、区間は0.93〜1.86ポイントだった。この条件では、抽出単位より報酬の統合が改善に大きく寄与したと読める。

一方、長さ制御をそろえた同じ2Bの3 seed比較では、平均報酬と和集合報酬の差は明確でなかった。平均報酬からReMaRkを引いたR@20差は−0.08ポイント、区間は−0.45〜0.29ポイントである。平均報酬の一つの実行では、モデルの変化を測るKLの停止基準に達する前の検証最良点を採用している。結果は、回答をまとめる価値を支えるが、和集合だけが優れた統合法だとまでは示さない。

長時間比較では、七組中四組で、Rank-GRPOの最良検証R@20に18〜63%の学習GPU時間で到達した。一方、9Bの二組とBooksの2Bは、その最高値に届かなかった。各手法の検証最良点をテストすると、全七組でReMaRkに統計的に有意な劣位はなかった。ただし、有意な劣位が見つからないことは、性能の同等性が保証されたことを意味しない。

効率の内訳も大切だ。Reddit-v2では、ReMaRkの一ステップは入力が長くなるため4〜11%遅かった。検証は両手法の学習GPU時間に2〜4%を追加する。効率改善は、目標品質までに必要なステップが少ないことから生じる。推論時の高速化は測っていない。

また、学習を続ければ改善し続けるわけではない。最高値後の低下や、KLの急増、学習の崩壊も報告されている。品質を検証して適切な時点を選ぶことが、計算効率の主張の前提になる。

推薦以外では、複数の妥当な自由回答を持つProtoQAで検証した。Qwen3.5-2Bを共通のSFTから学習し、テスト558問で評価した結果、250ステップ・3 seedでは、和集合報酬と質問の等確率抽出が、回答者別報酬と行抽出より回答者別recall@10を3.67ポイント改善した。95%区間は2.64〜4.69ポイントだった。ところが500ステップ・seed 3407では差が0.96ポイントとなり、区間は−0.89〜2.72ポイントで有意ではなかった。ここでも、短い予算での利点と最終性能の優越は分かれる。

回答者の正解を見せない補助評価もある。Reddit-v2の約300依頼を二系列のLLM判定器が比較し、9Bの2,000ステップ予算では両方がReMaRkを選好した。一方、4Bの長時間学習後の差は明確でなかった。これは著者らによるLLM評価であり、人間評価や独立した再現ではない。

モデル間の適用にも留保がある。Llamaでは長さ制御の確認に失敗し、主比較のLlama-3.2-3Bがちょうど20項目を出した比率はReMaRkで85.2%、Rank-GRPOで99.0%だった。公開トレーナーで長さ制御なしに比べた同モデルでは、R@20の有意な改善を得ていない。

推薦データは三つともReddit由来だ。BooksとMusicはLLMによる抽出とカタログ照合に依存し、GPT-5.6がラベル抽出やSFT目標の生成に使われた。Musicには回答者数の上限や曖昧な名前の除外もある。複数データセットでの結果でも、異なる利用現場まで広く代表するとは限らない。

回答者の抽選をなくしても、集まった回答が潜在的な正解全体を十分に代表するかという問題は残る。和集合報酬の改善は人気項目で大きく、群衆の回答を学ぶことで人気項目への偏りを強める可能性もある。支持頻度を無視する設計が目的に合うかは、別に判断すべきだ。

直接の適用先は、同じ依頼に複数の妥当な回答があり、それらを項目集合として照合できる学習である。全依頼に回答者が一人しかいなければ集約の利点はなく、ReMaRkはRank-GRPOに帰着する。次に確かめたいのは、異なるデータ源や複数の乱数条件でも品質到達の早さが残るか、そして記録された正解への命中が人間の評価でも改善となるかである。