InstructGPT：人間のフィードバックによる指示追従言語モデルの訓練

既存の資料には、この項目を個別に判断できるだけの記述がありません。

3つのステップで調教します：(1) まず人間が模範解答を書いて教え込む（SFT）、(2) AIが作った複数の答えを人間がランキング付けし、「人間が好む答え」を自動採点する審判AIを作る（報酬モデル）、(3) その審判AIから高い点数をもらえるように、強化学習（PPO）でAI自身に試行錯誤させて答えを磨き上げます。

・AIの進化基準を「モデルの大きさ」から「人間の意図との一致（アライメント）」へと転換

著者は、次の共通テストや課題で結果を報告しています。

・わずか13億学習で調整する数値（パラメータ）のInstructGPTが、100倍以上大きい1750億パラメータの素のGPT-3よりも、人間の評価者から約85%の確率で好まれる大きく上回る的結果を記録

・もっともらしい嘘（幻覚）をつく確率を41%から21%へと半減させ、有害な発言の頻度を約3分の1に低減

・人間の評価者（アノテーター）の好みや文化的背景に引きずられ、特定の価値観に偏ってしまうリスクがありました。

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。この結果は、モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。ただし、結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません

既存の資料には、この項目を個別に判断できるだけの記述がありません。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

・実運用のAPIプロンプト分布に基づく高品質な指示データセットの構築

・人間のペアワイズ比較から連続値の好ましさスコアを出力する報酬モデルの定式化

InstructGPTの学習パイプラインは、以下の精緻な3段階から構成されます。

ステップ1: 教師あり微調整（SFT）

OpenAIのAPIに実際に投稿されたプロンプトや専門の作業者（アノテーター）が作成したプロンプト約1.3万件に対し、人間が「理想的な応答」を執筆。これを教師データとしてGPT-3を追加学習（ファインチューニング）します。

ステップ2: 報酬モデル（RM）の学習

モデルにプロンプトを与えて複数の異なる応答を生成させ、アノテーターがそれらを「良い順」にランキング付けします。このペアワイズ（2択）比較データ約3.3万件を用いて、人間が好む応答に高いスコアを与える「報酬モデル（Reward Model）」を訓練します。

ステップ3: 強化学習（PPO）による方策最適化

SFTモデルに対し、近接方策最適化（PPO）アルゴリズムを適用します。モデルは新たなプロンプトに対して応答を生成し、報酬モデルからスコアを受け取ります。このとき、元のモデルから振る舞いが乖離しすぎて壊れてしまうのを防ぐため、元のモデルとの出力確率のズレ（KLダイバージェンス）に対するペナルティを課しながら、報酬を最大化するように重みを更新します。

著者は、次の共通テストや課題で結果を報告しています。

・1.3B学習で調整する数値（パラメータ）のInstructGPTが、175Bパラメータの素のGPT-3に対して約85%、GPT-3のFew-Shotプロンプトに対しても約70%の勝率で人間に好まれることをブラインドテストで示し

・事実に基づかない誤情報の生成頻度を41%から21%へ半減させ、有害な出力のスコアを有意に低減

著者は、次の共通テストや課題で結果を報告しています。

・学習データに含まれていない英語以外の言語やコード生成の指示に対しても、アライメント能力が汎化することを確認

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・KLペナルティ付きPPOにより、言語能力を破壊せずに人間の好みに方策を整列させる手法の確立

・モデルパラメータ数よりもアライメントの有無が人間の満足度を決定づけるという逆転現象の実証

・アライメントを強めすぎると、SQuADなどの一部の学術共通テスト（ベンチマーク）で正答率が低下する「アライメント・タックス（Alignment Tax）」が観測されました（事前学習損失の混合で一部緩和）。

・報酬モデルが人間の真の満足度ではなく「文字数が長く丁寧に見える回答」を偏重するような報酬ハッキング（Reward Hacking）の兆候が存在しました。

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。同じ傾向が対象の課題でも確認できるなら、モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。判断の前に、結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません

数理的な確率分布最適化と人間の主観的効用関数を接続する強化学習ループを確立し、現代の生成AI・対話エージェントの産業化を決定づけたです。

2022年にOpenAIのLong Ouyang、John Schulmanらが発表したInstructGPTは、Christianoら（2017）やStiennonら（2020）が切り開いた人間の選好に基づく強化学習（RLHF）の枠組みを、フロンティア規模の汎用大規模言語モデルへと初めて本格適用した記念碑的研究です。次単語予測によって獲得された潜在的な世界モデルと論理推論能力をそのまま保持しながら、出力の確率分布を人間の価値観・指示追従性へと誘導する方策最適化のパイプラインを提示しました。

まず人が複数の回答を比べ、その好みを予測する採点役を学習させます。次に、その採点が高くなるよう回答モデルを調整しつつ、元の言語能力から離れすぎないよう制約を加えます。

この章では、この関係から何を言えるかに注目します。

InstructGPTは、以下の3段階の数理的定式化に基づいて最適化されます。

まず人が複数の回答を比べ、その好みを予測する採点役を学習させます。次に、その採点が高くなるよう回答モデルを調整しつつ、元の言語能力から離れすぎないよう制約を加えます。

この章では、この設計が各情報をどう結び付けるかに注目します。

まず人が複数の回答を比べ、その好みを予測する採点役を学習させます。次に、その採点が高くなるよう回答モデルを調整しつつ、元の言語能力から離れすぎないよう制約を加えます。

この章では、この仕組みをどの条件で確かめたかに注目します。

人の評価者は、同じ指示への複数の回答を順位付けしました。著者らは、その評価者がどちらを好むかに加え、事実に基づかない回答と有害な文章の頻度、公開された言語課題の成績を測りました。好ましさ、安全性、正しさは同じ指標ではないため、結果を一つの点数にまとめず読む必要があります。

著者は、次の共通テストや課題で結果を報告しています。

・RealToxicityPromptsにおいて毒性スコアが素のGPT-3比で約33%減少

・KLペナルティと事前学習勾配の混合による方策崩壊（Policy Collapse）の数学的制御

・スケーリング則におけるパラメータ数とアライメント効率の非自明な関係性の解明

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

人に好まれたという結果は、回答が事実として正しいことと同じではありません。丁寧さや長さが好みに影響した可能性もあります。また、参加した評価者の判断が、異なる文化や用途の利用者を代表するとは限りません。役立ち方、正しさ、安全性を別々に測り、評価者間の違いも確認する必要があります。

・報酬モデルがプロンプトの指示の正確さよりも「文章の丁寧さ」「流暢さ」「長さ」に過剰適合しやすい課題（Reward Overoptimization）。

・評価者集団（約40名のアノテーター）の文化的バイアスがモデルの安全性基準に反映されてしまう代表性の問題。

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・報酬モデルがプロンプトの指示の正確さよりも「文章の丁寧さ」「流暢さ」「長さ」に過剰適合しやすい課題（Reward Overoptimization）。

・評価者集団（約40名のアノテーター）の文化的バイアスがモデルの安全性基準に反映されてしまう代表性の問題。

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。さらに、評価者の集団を変えたときの順位と、好ましさ・正しさ・安全性が両立するかを別々に確認する必要があります。

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。ここから得られる示唆には追加検証が必要です。モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。一方で、結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません。次に見るべき証拠は、条件を変えた追試と失敗例です。

モデルのスケーリングに依存せず、強化学習アライメントによってモデルの実用性と安全性を向上させる方法論を確立しました。

SFT（模範解答微調整）、Bradley-Terryモデルに基づくペアワイズ報酬モデル学習、参照方策とのKLペナルティを含むPPO方策勾配法。

・フロンティアLLMに対するRLHFパイプラインの包括的実証

著者報告の結果は次の評価条件に基づきます。

・1.3B InstructGPTが175B GPT-3に対して人間評価で85%の選好勝率を達成

・TruthfulQAでの事実性向上とRealToxicityでの有害出力低減を実証

・アノテーターの人口統計学的属性への依存

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。したがって、対象条件が近い場合は、モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。ただし、結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません

対話型AIの産業構成における最大の障壁であったハルシネーションと毒性の制御に道を拓き、現代のAIサービス設計の基盤となりました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

対話型AIの産業構成における最大の障壁であったハルシネーションと毒性の制御に道を拓き、現代のAIサービス設計の基盤となりました。

・実利用プロンプトに基づく実用特化型アライメントデータセットの作成

・過学習を防止するマルチペア一括ランキング損失関数の導入

SFTデータセット構築、ペアワイズランキング損失による報酬モデル最適化、KL正則化および事前学習対数尤度ペナルティ（PPO-ptx）を組み込んだ強化学習。

著者報告の結果は次の評価条件に基づきます。

・1.3B PPOモデルが175B未調整モデルを人間評価で大きく上回る

・事実性の向上（真実で有益な回答率が41%から21%へハルシネーション低減）

著者報告の結果は次の評価条件に基づきます。

・毒性出力スコアが約3分の1に減少

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・モデルパラメータ数と人間選好の間のスケーリング逆転の実証

・長い回答や丁寧なトーンを報酬モデルが過剰評価するバイアス

・数学的・論理的推論における厳密な正誤判定に対するRLHFの限界

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。この観察が自分のデータと計算条件でも保たれるなら、モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありませんので、同じbaselineとmetricでの比較が前提です。

数理的な方策勾配法と人間の主観的評価を結びつけ、安全で信頼性の高い現代AIアシスタントの設計基盤を確立しました。

対話型AIの産業構成における最大の障壁であったハルシネーションと毒性の制御に道を拓き、現代のAIサービス設計の基盤となりました。

1. 報酬モデルの定式化とバッチ損失

報酬モデル $r_\theta(x, y)$ は、プロンプト $x$ と応答 $y$ を受け取りスカラー値を返します。1つのプロンプトに対して $K$ 個の応答をサンプリングしてアノテーターが順位付けしたとき、$\binom{K}{2}$ 個の比較ペアすべてを用いた損失関数は次式となります：

$\mathcal{L}_{\text{RM}}(\theta) = - \frac{1}{\binom{K}{2}} \mathbb{E} \left[ \log \sigma \left( r_\theta(x, y_w) - r_\theta(x, y_l) \right) \right]$

全ペアを単一バッチとして計算することで、勾配の分散を抑制し報酬モデルの過適合を防ぎます。

1. PPO-ptx 目的関数と方策更新

言語モデル方策 $\pi_\phi^{\text{RL}}$ の最適化目的関数は次のように定義されます：

$\text{obj}(\phi) = \mathbb{E} \left[ r_\theta(x, y) - \beta \mathbb{D}_{\text{KL}}(\pi_\phi^{\text{RL}}(y \mid x) \parallel \pi^{\text{SFT}}(y \mid x)) \right] + \gamma \mathbb{E} \left[ \log \pi_\phi^{\text{RL}}(x) \right]$

ここでトークンごとのKLペナルティ $r_{\text{pen}}(x, y) = r_\theta(x, y) - \beta \log \frac{\pi_\phi^{\text{RL}}(y \mid x)}{\pi^{\text{SFT}}(y \mid x)}$ が一般化アドバンテージ推定（GAE）に渡され、PPOクリップ目的関数によって方策パラメータ $\phi$ が更新されます。

1. アライメント・タックスと汎化特性

強化学習のみで最適化すると、特定の公開NLPタスク（SQuAD、WMT等）で性能劣化（アライメント税）が生じますが、事前学習勾配項（$\gamma \neq 0$）を混合することで、言語モデルとしての汎用能力を損なわずにアライメントを達成できることが示されました。

提案の流れは次の要素から成ります。

・人間フィードバックを用いたフロンティア言語モデルの強化学習フレームワーク

・報酬モデルにおける比較ペアバッチ化による学習安定化

SFT微調整、Bradley-Terry選好モデルに基づくペアワイズ報酬学習、KLダイバージェンス制約付き近接方策最適化（PPO-ptx）。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

著者報告の結果は次の評価条件に基づきます。 データセット、指標、比較対象をそろえて読む必要があります。

・1.3BパラメータのInstructGPTが175B素のGPT-3を人間選好において大きく上回る

・TruthfulQAおよびRealToxicityPromptsにおける統計的有意な安全性・事実性向上

著者報告の結果は次の評価条件に基づきます。

・非英語プロンプトおよびプログラミングコードに対するゼロショットアライメント汎化

・KLペナルティと事前学習損失の混合によるアライメント税の数理的抑制

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・報酬モデルの不詳細な性に伴う「冗長で過剰に迎合的な回答」へのバイアス

・客観的真実性の検証におけるアノテーターの認知限界

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・報酬モデルの不詳細な性に伴う「冗長で過剰に迎合的な回答」へのバイアス

・客観的真実性の検証におけるアノテーターの認知限界

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。結果から得られる示唆は次の通りです。モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。ただし、この観察だけで因果関係までは確定できません。結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません。再現実験では条件を固定し、分布外データと失敗率を併記すべきです。

人間の好みに基づく強化学習によって、言語モデルの指示追従性と安全性を向上させたです。

SFT、ペアワイズ報酬モデル学習、KLペナルティ付き近接方策最適化（PPO）。

・大規模言語モデルに対するRLHFパイプラインの確立

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・1.3B InstructGPTが175B GPT-3に対して85%の選好勝率

・事実性の大幅向上と有害出力の半減

・特定評価者集団のバイアス反映

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。この結果から得られる示唆は次の通りです。モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。ただし、結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません

既存の資料には、この項目を個別に判断できるだけの記述がありません。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

・実利用プロンプト分布に基づくRLHFフレームワークの定式化

・ペアワイズランキングによる安定した報酬モデリング

APIプロンプトに基づくSFT、Bradley-Terryロジスティック損失による報酬モデル学習、PPO-ptx強化学習。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・1.3Bモデルが175Bモデルを人間選好において大きく上回る（勝率約85%）

・ハルシネーション発生率が41%から21%へ半減

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・RealToxicityベンチマークにおける毒性の大幅低減

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・アライメントによるモデル規模の逆転現象の実証

・報酬ハッキング（冗長で過度に丁寧な文章の選好）の発生

・多様な文化・価値観に対するアライメント基準の統一の難しさ

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。このevidenceが同一protocolで再現される範囲では、モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。ただし、結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません。reported setting外への一般化には追加評価が要ります。

数理的な強化学習アルゴリズムをフロンティアLLMのアライメントに統合し、現代生成AIの産業化を決定づけた論文です。

1. 報酬モデリングの数理

プロンプト $x$ に対する人間のペアワイズ選好データ $(y_w, y_l)$ に対し、報酬関数 $r_\theta$ は以下のBradley-Terryロジスティック損失によって学習されます：

$\mathcal{L}_{\text{RM}}(\theta) = - \frac{1}{\binom{K}{2}} \mathbb{E} \left[ \log \sigma \left( r_\theta(x, y_w) - r_\theta(x, y_l) \right) \right]$

この最適化により、人間が好む回答に対するスカラー報酬が予測されます。

1. PPO-ptx による方策最適化

方策更新では、報酬の最大化とともにSFTモデル $\pi^{\text{SFT}}$ からのKLダイバージェンスをペナルティ項として課します：

$\text{obj}(\phi) = \mathbb{E} \left[ r_\theta(x, y) - \beta D_{\text{KL}}(\pi_\phi^{\text{RL}} \parallel \pi^{\text{SFT}}) \right] + \gamma \mathbb{E} \left[ \log \pi_\phi^{\text{RL}}(x) \right]$

これにより方策の崩壊と公開ベンチマーク性能の劣化（アライメント税）を数学的に制御します。

1. 実験的知見

1.3BパラメータのPPOモデルが175B未調整モデルを人間選好において有意に凌駕し、事実性・安全性の双方が改善することが示されました。

提案の流れは次の要素から成ります。

・実利用プロンプトに基づくRLHFアライメントパイプラインの確立

・過学習を防ぐマルチペアランキング損失の設計

SFT微調整、Bradley-Terry報酬モデル、KL正則化および事前学習損失項を含む近接方策最適化（PPO-ptx）。

既存の記述だけでは、学習・推論条件の全項目を特定できません。この不足は再現性を判断する際の留保です。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。 データセット、指標、比較対象をそろえて読む必要があります。

・1.3B InstructGPTが175B GPT-3に対して85%の選好勝率を達成

・TruthfulQAでの事実性向上とハルシネーションの半減

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・有害表現生成頻度の大きな低減

・KLペナルティと事前学習対数尤度によるアライメント税の抑制

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

・報酬モデルが回答の長大さや表面的な流暢さに引きずられるバイアス

・少数のアノテーターによる主観的判断の代表性の限界

残る問いは、報告された改善が別のデータや規模でも保たれるか、そして次の制約をどこまで減らせるかです。

・報酬モデルが回答の長大さや表面的な流暢さに引きずられるバイアス

・少数のアノテーターによる主観的判断の代表性の限界

追試では同じ比較条件を再現したうえで、未報告の条件と失敗例を分けて測る必要があります。

InstructGPTでは小さい調整済みモデルが大きい未調整GPT-3より人間評価で好まれました。この観測から得られる示唆は次の通りです。モデル規模とは別に、人の選好を学習目標へ加えることが指示追従を改善し得ます。ただし、代替要因は残ります。結果は評価者集団と報酬モデルに依存し、好ましさは事実性や普遍的な価値観と同じではありません。確認すべきなのは、同一条件での再現、ablation、distribution shift下の結果です。