直接選好最適化（DPO）：言語モデルは潜在的に報酬モデルである

大規模言語モデルは事前学習で広範な知識を獲得しますが、それだけでは振る舞いを精密に制御できません。ユーザーにとって有益か、安全か、要点を簡潔に伝えるかといった品質は、単語の出現確率予測だけでは保証されないためです。

実用的なシステムとして機能させるには、事前学習後のモデルに人間の好みを学ばせる事後学習が必要です。その基礎として普及したのが、同一入力に対する複数回答を比較し、人間がどちらを好むかを記録した選好データでした。

DPO以前に選好データからモデルを調整する標準は、二段階のRLHFでした。まず選好データから好ましさを点数化する報酬モデルを個別に学習させます。次にその報酬モデルを採点役として、言語モデルが高い点数を得られるようPPOなどの強化学習でパラメータを更新します。このとき言語能力が崩壊しないよう参照モデルとの乖離を抑えるKL制約を課すのが定石でした。

しかしこの仕組みは、更新中モデル、参照モデル、報酬モデル、価値推定モデルを同時に保持する必要がありました。さらにPPOのループ内でモデル自身にテキストを逐次生成させて採点する動的処理を繰り返すため、莫大な計算資源を消費し、パラメータ調整の難しさも深刻でした。

具体例として顧客サポートの問い合わせ返信案作成を考えてみます。ログイン障害の相談に対し、モデルが2つの返信案を作ったとします。返信案Aは原因の切り分けと再設定手順を簡潔に箇条書きで案内する文章、返信案Bは丁寧な挨拶は続くものの具体的な解決手順が欠けた文章です。評価者は返信案Aを好ましい回答（勝者）、返信案Bを選ばれなかった回答（敗者）と判定します。

従来のRLHFでは、こうしたペアから採点器を学び、言語モデルに試作と採点を繰り返させて返信案Aのような文章を出す確率を高めていました。DPOはこの手続きの簡素化を図ります。なお、この顧客対応例は直感的理解のためのアナロジーであり、論文の実験は要約や対話データで行われています。実務では組織規則や多様な要件が絡み、実験室の静的な比較データとは異なる複雑さがある点には留意が必要です。

スタンフォード大学のRafael Rafailov氏やChelsea Finn氏らが着目したのは、「好ましい振る舞いを学ばせるために、独立した報酬モデルと強化学習ループが本当に必要なのか」という疑問でした。従来のRLHFが掲げる「参照モデルからの乖離を抑えつつ報酬を最大化する」という数理問題を改めて検討したのです。

選好判断を説明する標準的なBradley–Terryモデルでは、2つの回答のどちらが選ばれるかは潜在的な報酬の差で決まります。研究チームは、KL制約下で最適な言語モデルと報酬関数の間に厳密な数学的関係が成り立つことを示しました。この関係式を選好確率の式に代入すると、入力ごとの正規化項が差分によって綺麗に相殺されます。

この導出により、更新中モデルと参照モデルの出力確率比（対数比）そのものが潜在的な報酬を直接表すことが明らかになりました。言語モデルの確率比に好ましさの点数が暗黙に含まれており、独立した採点ネットワークは不要なのです。

言語モデルの確率比がそのまま報酬を表すのであれば、強化学習の不安定な試行錯誤を繰り返す必要はありません。DPOは選好学習を、機械学習で一般的な二値分類（クロスエントロピー損失）の計算へと置き換えました。

顧客サポートの例で言えば、好まれた返信案A（勝者）と選ばれなかった返信案B（敗者）のペアに対し、更新中モデルと参照モデルの双方が各案を出力する確率を計算します。そして参照モデルと比較した際の「返信案Aの相対的な確率比」が、「返信案Bの相対的な確率比」よりも大きくなるようパラメータを直接更新します。

重要なのは、単に返信案Aの確率を上げるのではなく、固定された参照モデルとの比率を基準に評価する点です。これにより好まれた回答を促す力と、元の言語知識から逸脱しないよう引き戻す正則化の力が一つの損失関数の中で同時に働きます。学習中のテキスト生成は不要で、通常の教師あり学習と同様のバッチ処理で整列が進みます。

DPOがもたらした最大の利点は、アライメント作業から「独立した報酬モデルの学習」「学習中のテキスト生成」「強化学習に特有のハイパーパラメータ調整」を完全に排除した点にあります。これらは従来のRLHFにおいて計算コストと実装難度を引き上げていた主要因でした。DPOにより、手元の選好データから直接的かつ安定してモデルを最適化できるようになりました。

ただし計算のすべてが消えたわけではありません。更新中モデルに加え基準となる参照モデルを保持し、双方が各回答に与える確率を計算する負荷は残ります。また正則化係数の設定や参照モデルの選択は生成品質に大きく影響します。DPOは選好に合わせる手続きを単純化したのであり、選好データの質や偏りといったデータ自体の課題までを自動解決するわけではないという境界の認識が不可欠です。

著者らはDPOの実効性を確かめるため、選好学習の代表的な学術ベンチマークで比較実験を行いました。採用された主なタスクは、Redditの投稿から簡潔な要約を生成するReddit TL;DR要約タスクと、対話の実用性と安全性を検証するAnthropic Helpful and Harmless（HH）データセットです。

比較対象のベースラインには、報酬モデルを個別に学習させた上で方策を更新する従来のPPOによるRLHF手法などが設定されました。評価においては、生成出力をどちらのモデルが作ったか伏せた状態（ブラインド評価）で比較するプロトコルがとられ、GPT-4を用いた自動判定などによって勝率や品質のトレードオフが定量的に計測されました。

論文において著者らは、複数の評価軸でDPOがPPOを上回る、または同等以上の成果を示したと報告しています。Reddit TL;DR要約タスクでは、DPOで調整されたモデルがPPOベースラインに対して60%を超える勝率を達成しました。これは生成された要約の質を比べた際、過半数を上回る頻度でDPOの出力が好まれたことを示しています。

またAnthropic HHデータセットの評価では、回答の有益性と危険な内容を避ける無害性のトレードオフ曲線において、DPOがPPOと同等以上の競争力を発揮したと報告されています。さらに計算リソースの面でも、PPOと同等のフロンティアを達成するのに要したGPU時間が約半分で済んだとされています。学習の推移についても勾配ノルムに極端な外れ値が生じず、平滑に学習が進んだと報告されています。

当時の実験結果が証明したのは、「検証された特定のモデル規模、選好データセット、および評価プロトコルのもとでは、独立した報酬モデルやPPOを用いなくても、単純な直接最適化によって同等以上の性能が得られる」という事実でした。目的関数を単純化しても選好への適合性能が損なわれないことを示した点は、有益な知見でした。

しかし、この結果があらゆる実務環境に直結するわけではありません。要約や対話データでの勝率は特定条件下での相対評価であり、事実性や安全性が普遍的に保証されたわけではありません。またGPT-4によるブラインド判定は人間による厳密な多面検証と完全に同義ではありません。当時の評価はPPOに代わる有力な選択肢を提示したのであって、アライメントに伴うあらゆる困難を解消したわけではない点に注意が必要です。

DPOがNeurIPS 2023で発表されて以降、その影響はオープンソース界隈を中心に急速に波及しました。従来のRLHFは複数モデルを協調させる高度な分散システムと膨大な計算資源を要し、一部の巨大組織に限られた技術でした。これに対しDPOは、教師あり学習に近いシンプルな分類損失で実行できるため、事後学習の参入障壁を大きく引き下げました。

記録によれば、DPOはZephyr、Llama 3、Mistralといった主要オープンモデルの事後学習に採用されました。またHugging FaceのTRLライブラリにも標準機能として組み込まれ、何千もの派生モデルの整列に利用されています。Hugging Faceで380以上のアップボートを集め、コミュニティから「PPOの複雑な調整から開発者を解放した」と受け止められた事実は、この手法が実務に定着したことを示しています。

DPOの登場は、単に便利な訓練手法を提供しただけでなく、「選好への整列には強化学習ループが必須である」という従来の設計規範を塗り替えました。オフラインの選好データから直接目的関数を解くアプローチが実用的であることを示したことで、選好学習の目的関数を拡張・改良する後続の研究が活発化する契機となりました。

ただし後続のすべての技術がDPOをそのまま利用しているわけではありません。DPOの普及によって事後学習の裾野が広がった一方で、静的データのみに頼る手法ゆえの限界もまた、学界や実務の現場でより明確に意識されるようになっていきました。

現代の視点からDPOを捉え直したとき、最も本質的な制約となるのは、あらかじめ集められた静的なデータのみから学ぶ「オフライン手法」であるという点です。PPOのように学習中のモデル自身が文章を生成してフィードバックを受ける動的な探索を行わないため、更新されたモデルが新しく生み出す回答に対して直接的な評価を与えることができません。

この特性は、モデルが訓練データの分布から外れた未知の入力に直面した際や、データに含まれていない新奇な表現を生成した際に問題となります。DPOが依拠する暗黙の報酬は、静的データの外側において必ずしも妥当な評価を与えるとは限りません。静的な正負のペアに過度に適合した結果、未知の入力に対する生成確率が歪んでしまうリスクが指摘されています。動的な探索を伴わない簡便さの代償として、分布変化への脆さを内包しているのです。

DPOは与えられた選好ペアの差分を忠実に最適化するため、データ自体に含まれるノイズや偏向を直接取り込んでしまう課題があります。顧客サポートの例で言えば、評価者が要点の的確さではなく「文字数が多く丁寧に見える文章」を好んで選好ラベルを付けていた場合、DPOはその長さの偏向をそのまま学習し、不必要に冗長な返信を出すモデルになりかねません。

また数理的な性質として、DPOは勝者と敗者の確率比の差を広げるよう学習します。そのため、好ましい回答（勝者）の絶対的な出現確率が低下していても、敗者の出現確率がそれ以上に低下すれば損失が改善してしまいます。直感的な「良い回答を確実に出しやすくする」理解と、実際の「相対的な差を広げる」計算の間にはズレがあり、予期せぬ品質低下を招く要因となります。さらに参照モデルにおいて極めて出にくい表現は、暗黙の評価において不利になりやすい制約もあります。

記録では、特定ハードウェアや分散構成への依存性、極限的なスケールにおける調整の難しさも課題として挙げられています。PPOに比べて日常的な学習設定が格段に扱いやすいとはいえ、参照モデルの選定や正則化係数の調整、学習データの品質管理など、実務においては慎重な設計が依然として不可欠です。

今日においてDPOを評価する際、読者が持つべき視点は「DPOがすべてを解決した」と過信することでも、「オフライン手法だから不十分である」と退けることでもありません。言語モデル自身が暗黙の報酬を持つという数理的洞察と、工程の大幅な簡素化を成し遂げた意義は確固たるものです。実務への導入にあたっては、自社の選好データに偏りがないか、評価者の意見が分かれる領域でどう振る舞うかを実証的に点検し、手順の平易さを安全性の保証と混同しない慎重な姿勢が求められます。