WMRL：ワールドモデルによる自律研究エージェントの強化学習スケーリング

近年、ソフトウェア開発やデータ分析の現場では、AIが自ら仮説を立て、コードを書き、テストを実行して結果を確認するという一連の試行錯誤を自律的に繰り返す「自律研究エージェント（AutoResearchエージェント）」が注目を集めています。たとえば、既存のソフトウェアでバグを修正したり性能を改善したりする業務を考えてみましょう。エンジニアであれば、修正コードを書いて単体テストを実行し、エラーログを読み解いて再度書き直すという反復作業を行います。自律研究エージェントも同様に、試行と失敗の履歴から学習し、より適切な解決策を見つけ出す能力が求められます。こうしたエージェントの能力を伸ばす中核技術が、事後学習における「強化学習」です。強化学習では、エージェントが実行した結果に対して報酬（成功や失敗に応じた評価スコア）を与え、より高い報酬を得られる行動方針へとモデルを更新していきます。

しかし、自律研究エージェントの強化学習を大規模に進める際には、計算特性の根本的な不一致という障壁が存在します。エージェントがコードを書く「テキスト生成」の工程は、近年のGPUインフラを活用することで、複数の試行を束ねて並列に計算するバッチ処理が容易です。一方で、生成されたコードを実際に動かす「環境実行」の工程は、安全のため隔離された専用のサンドボックス環境を個別に専有しなければならず、終了までに物理的な実時間を要します。コード修正の例でいえば、修正案を一瞬で同時に100通り生成できたとしても、個別のテスト環境で実際に動かして完了を待たなければ次の学習ステップに進めません。PPOやGRPOといった従来の標準的な強化学習手法では、すべての試行で実機サンドボックスを動かしていたため、試行回数が増えるにつれて実行待ち時間が学習コストの大半を占有していました。

この実行待ち時間というボトルネックを解消するため、実機のサンドボックス環境そのものを、ニューラルネットワークで構築された仮想シミュレータである「ワールドモデル」に置き換える発想が登場しました。過去の実行ログから学習したワールドモデルを用いれば、エージェントが生成したコードに対して「どのような実行結果が得られ、成否がどうなるか」を、実際のプログラムを実行することなく瞬時の推論で予測できます。しかし、ここには重大な落とし穴があります。ニューラルモデルによる予測は完全ではなく、出力される報酬には必ず固有の偏り（バイアス）とばらつき（ノイズ）が含まれます。もし不完全なシミュレータをそのまま判定役に据えると、エージェントは現実には動かないコードであっても「シミュレータが誤って甘い点数を出すパターン」を学習してしまいます。この現象は「報酬ハッキング」と呼ばれ、シミュレータの欠陥を突くだけの役に立たないエージェントを生む原因となります。

著者らが提案した「WMRL（World Model RL）」は、実機環境の実行負荷を解消しつつ、シミュレータの不完全性を制御する強化学習フレームワークです。WMRLの基本構造では、エージェントが生成したコードや一連の操作を、事前に収集された実行ログから学習したワールドモデルに入力します。ワールドモデルは、環境が次にどのような状態へ遷移し、どれだけの報酬を与えるべきかを、物理的な実行を介さずに高速にシミュレーションします。これにより、実マシンのサンドボックスを立ち上げてライブラリを読み込み、テストの完了を待つという長大なプロセスをバイパスし、学習速度を高める土台を整えます。ただし、ワールドモデルの出力には偏りとばらつきが混入するため、WMRLではこれらを統計的に打ち消す2つの工夫が組み込まれています。

シミュレータの不備による悪影響を防ぐため、WMRLには「オンライン脱バイアス」と「逆分散ノイズ除去」という2つの機構が導入されました。第1のオンライン脱バイアスは、学習の過程で全体の数パーセント程度というごく少量の試行だけを実際のサンドボックス環境で実行し、ワールドモデルの予測結果と突き合わせる仕組みです。これにより、シミュレータが全体として甘い評価を下すような系統的偏りをリアルタイムに推計し、報酬から差し引いて補正します。第2の逆分散ノイズ除去は、ワールドモデルが自信を持てない不確実な予測に対して、学習時の影響力を弱める仕組みです。予測のばらつき（分散）が大きいステップほど、方策を更新する計算において重みを小さく設定します。著者らはこれら2つの補正処置によって、偏ったシミュレータを用いても、エージェントの改善方針が理論的に正しい方向へと確実に収束することを数理的に証明したと報告しています。

提案手法の有効性を検証するため、著者らは自律的なソフトウェア開発や研究実験を模擬した多様なベンチマークを用いて実験を行いました。具体的には、GitHub上の課題解決を評価するSWE-benchや、論文実装タスクを含むResearchBenchなどのタスク群が採用されています。比較の基準線（ベースライン）には、すべての試行で実マシンのサンドボックス環境を実行する、PPOやGRPOといった標準的な強化学習アルゴリズムが設定されました。評価においては、学習完了までに要した現実の経過時間（壁時計時間）と、未見のテスト課題群（ホールドアウト環境）へ適用した際の最終的なタスク解決率が測定されました。これにより、仮想シミュレータへの置き換えが時間の節約にとどまらず、得られるエージェントの知的能力を損なっていないかが厳密に比較対照されています。

著者らはさらに、WMRLの汎用性を検証するため、ソフトウェアのコード生成だけでなく、物理環境で動くロボット制御タスクへの適用実験も行いました。ここでは、視覚情報と言語指示から行動を生成する具現化AIモデル（VLA）を対象とし、LIBEROと呼ばれるロボットアーム操作の標準ベンチマーク上で学習が行われました。物理的なロボット制御においても、シミュレータや実機による試行時間は大きな学習障壁となるため、ワールドモデルによる代替が有効に機能するかが試されました。ただし、この評価系が実証できたのは、事前にワールドモデルを訓練するための基礎的な環境データが収集でき、挙動がある程度予測可能なタスクの範囲内である点に注意が必要です。外部のリアルタイムAPIと通信するような不確実性の高い環境までを網羅して保証しているわけではありません。

著者らの報告によれば、WMRLは多様な研究・コーディングタスクにおいて、従来の強化学習ベースラインと比較して学習の壁時計時間を一貫して3〜4倍（具体的には3.2〜4.1倍）高速化しました。さらに未見のテストデータセットにおける課題解決率でも、実機環境のみで学習させたベースラインと同等以上の成績を達成したとされています。ResearchBenchの論文実装タスクでは、従来の実機学習を最大で4.2〜4.8ポイント上回る完了率が記録されました。また特筆すべき結果として、モデル規模の逆転現象が挙げられます。WMRLによって事後学習された40億パラメータ（4B）および90億パラメータ（9B）のエージェントが、それぞれ320億パラメータのQwen-2.5-Coderや700億パラメータのLlama-3.1、さらには480億および1200億パラメータ級のオープンモデルを上回りました。未見タスクの直接対決において、9Bエージェントは10倍以上の規模を持つ120Bモデルに対して勝率61.2パーセントを記録したと報告されています。

ソフトウェア開発タスクで得られた加速効果は、具現化AIの領域でも同様に再現されました。LIBEROベンチマークを用いたロボットアーム操作ポリシー（VLA）の学習実験において、WMRLは実機シミュレーションを常時行うベースラインと比較して、タスク成功率を同等水準に維持したまま、学習時間を3.2〜3.4倍短縮したと著者らは報告しています。この結果は、テキストによるプログラム生成と物理的なロボットのアクション制御という異なるドメインであっても、「エージェントの行動生成と環境実行の計算特性の乖離」という共通の構造的課題が存在し、ワールドモデルによる代替と統計的補正のアプローチが広く有効に機能することを示しています。

実験結果を客観的に評価する上では、何がこの性能向上をもたらしたのかという要因の切り分けに慎重である必要があります。著者らの報告では、ワールドモデルを単純に導入しただけでは報酬ハッキングが発生し、十分な性能向上は得られません。オンライン脱バイアスと逆分散ノイズ除去を組み合わせて初めて安定した収束が実現しています。一方で、学習時間の短縮や小型モデルの成績向上に対して、ワールドモデルそのものの予測性能だけでなく、バイアス補正のためにサンプリングされた少数の実環境データがどのように選ばれ、学習方針にどう影響したかという側面も排除できません。したがって、小型エージェントが大型モデルを上回った成果を、ワールドモデル単体の効果として捉えるのではなく、適切な統計的補正との相乗効果として理解する必要があります。

著者らの報告に基づき、本手法の適用限界と導入時の注意点を整理しておく必要があります。第一に「コールドスタート問題」です。WMRLを機能させるには、初期段階でワールドモデルを訓練するための基礎的な対話データや実行ログが一定量あらかじめ存在していなければなりません。第二に、実機サンドボックス環境を完全に撤廃できるわけではない点です。オンライン脱バイアスを機能させるには、全体の数パーセント程度の実機サンプリングを継続的に行う必要があり、最小限のサンドボックス実行インフラは維持し続けなければなりません。第三に、予測のばらつきが大きい「長期にわたるタスク」では、シミュレーションのステップが進むにつれて誤差が累積していく懸念が残ります。また、外部の動的なWeb APIへのアクセスや特殊なハードウェア通信を伴うプログラムなど、シミュレータ側での再現が極めて困難な領域には適していません。