WMRL：ワールドモデルによる自律研究エージェントの強化学習スケーリング

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）の規模を大きくしたときの変化テンションにより、環境実行が支配的なボトルネックとなっている。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

著者らは、多様な研究自動化タスクにおいて学習速度を3〜4倍に高速化。未知のテストタスクにおいて、従来の強化学習比較対象を上回る解決率を記録。ロボットの身体制御タスク（VLA）にもそのまま応用可能であることを実証

世界モデルのドメイン外別の条件への対応限界とコールドスタート時の実環境データ要求。

著者らは、実際の環境で何度も試す代わりに、結果を予想する模型の中で練習させることで学習時間を短くしたと報告しています。別の課題でも同じ結果が出るなら、限られた実験時間の使い方を変えられるかもしれません。ただし、模型の予想が現実とずれる課題では同じ効果は保証されません。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）の規模を大きくしたときの変化テンションにより、環境実行が支配的なボトルネックとなっている。

PPOやGRPO等の標準的RLアルゴリズムでは、全軌跡に対して実サンドボックスを実行するため、軌跡長が長くなるにつれて計算リソースの大部分が待機時間に消費されていた。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

本手法では、エージェントが生成したコードやアクションを直接サンドボックスで動かす代わりに、過去の実行ログから学習した『ワールドモデル』に渡して結果と報酬をシミュレーションします。しかし、ワールドモデルはではないため、出力される報酬には固有の偏り（バイアス）と不確実性（ノイズ）が含まれます。これを放置するとエージェントがシミュレータの穴を突いて不正に報酬を稼ぐ『報酬ハッキング』に陥ります。そこで著者らは、①実環境の少量サンプリングと照合してシミュレータの偏りを動的に相殺する『オンライン脱バイアス（Online Debiasing）』と、②不確実性の高い予測の重みを下げる『逆分散ノイズ除去（Inverse-Variance Denoising）』を考案。数学的に学習の収束性が厳密に改善されることを報告しました。

著者らは、WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウト共通テストで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

その評価で著者らは、複数の研究自動化共通テストにおいて、学習の壁時計時間を一貫して3〜4倍に短縮。未見のテストデータセットにおいて、実環境のみで学習した標準的RL（PPO/GRPO等）以上のタスク成功率を達成。4Bモデルで48Bモデルを、9Bモデルで120Bモデルをそれぞれ上回る共通テストスコアを記録。ソフトウェア研究タスクだけでなく、ロボット制御（VLA: Vision-Language-Action）ポリシーの学習にも成功し、手法の汎用性を支持

適する範囲は実機サンドボックスの実行時間が支配的な自律研究・コーディングエージェントのRL学習、シミュレータ環境を構築可能なロボティクス・具現化AI（VLA）のポリシー調整、限られた計算リソースで小型モデル（4B/9B）を最高効率で強化したい開発パイプラインです。一方、外部の動的APIや予測不可能なハードウェア通信を伴うタスク、初期の環境対話データが全く存在せずワールドモデルを学習できないコールドスタート環境には適しません。

初期段階でワールドモデルを訓練するための基礎的な環境対話データが一定量必要となります。OSカーネルの深部や特殊なネットワーク通信を伴うプログラムなど、シミュレーションが非常に困難なタスク群への適用限界が存在します。バイアス補正のために定期的な実環境サンプリングをにゼロにすることはできず、最小限のサンドボックスインフラは維持する必要があります。世界モデルのドメイン外別の条件への対応限界とコールドスタート時の実環境データ要求。バイアス推定のために最小限の実機サンドボックスインフラをに排除できない点。長期地平タスクにおけるシミュレーション誤差の累積。

著者らは、実際の環境で何度も試す代わりに、結果を予想する模型の中で練習させることで学習時間を短くしたと報告しています。別の課題でも同じ結果が出るなら、限られた実験時間の使い方を変えられるかもしれません。ただし、模型の予想が現実とずれる課題では同じ効果は保証されません。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）の規模を大きくしたときの変化テンションにより、環境実行が支配的なボトルネックとなっている。

PPOやGRPO等の標準的RLアルゴリズムでは、全軌跡に対して実サンドボックスを実行するため、軌跡長が長くなるにつれて計算リソースの大部分が待機時間に消費されていた。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

AutoResearchの軌跡は、エージェントによるトークン生成フェーズと、環境によるコード実行フェーズの交互連鎖です。WMRLでは、実サンドボックス実行を事前に収集・更新されるニューラルワールドモデルへと置換します。世界モデルはエージェントのアクション（コード等）から実行ログと成否（報酬）を瞬時に予測します。しかしシミュレータ予測には必然的に偏り 対応する値 と分散 対応する値 が伴います。これを制御するため、本手法は①実環境から極小サンプル（全体の数%）を取得して報酬予測の系統誤差を逐次推定・減算する『Online Debiasing』、および②世界モデルの不確実性（分散）に反比例する重みを付けて勾配分散を最小化する『Inverse-Variance Denoising』を実装しました。著者らはマルコフ決定過程におけるポリシー勾配の収束半径が、この2つの処置によって改善される条件を理論的に示してしています。

エージェントのアクション（実験コード等）を受け取り、環境遷移と報酬をシミュレーションするワールドモデルを導入。少数の実環境軌跡から報酬バイアスをオンライン推定し減算するOnline Debiasing。予測不確実性（分散）の逆数でポリシー勾配の更新を再重み付けするInverse-Variance Denoising。修正された方策勾配が真の勾配へ漸近的に収束することを理論的に示した。

エージェントのアクション（実験コード等）を受け取り、環境遷移と報酬をシミュレーションするワールドモデルを導入。少数の実環境軌跡から報酬バイアスをオンライン推定し減算するOnline Debiasing。予測不確実性（分散）の逆数でポリシー勾配の更新を再重み付けするInverse-Variance Denoising。修正された方策勾配が真の勾配へ漸近的に収束することを理論的に示した。

著者らは、WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウト共通テストで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

SWE-bench、ResearchBench等の自律開発・研究共通テストにおいて、学習スループットを3〜4倍に向上。実環境実行による従来のPPO/GRPO比較対象と比較して、同等以上の最終解決率（最大+4.8ポイント）を達成。テスト環境において、追加学習済み4Bエージェントが48B比較対象を、9Bエージェントが120Bオープンウェイトエージェントを上回る結果。具現化AI共通テスト（ロボットアーム操作・VLAポリシー）への転移実験でも同様の学習加速とタスク成功率向上を確認

その条件で著者らは、SWE-bench、ResearchBench等の自律開発・研究共通テストにおいて、学習スループットを3〜4倍に向上。実環境実行による従来のPPO/GRPO比較対象と比較して、同等以上の最終解決率（最大+4.8ポイント）を達成。テスト環境において、追加学習済み4Bエージェントが48B比較対象を、9Bエージェントが120Bオープンウェイトエージェントを上回る結果。具現化AI共通テスト（ロボットアーム操作・VLAポリシー）への転移実験でも同様の学習加速とタスク成功率向上を確認

WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウト共通テストで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

既存資料で報告された失敗や切り分けの範囲は次の通りです。ワールドモデルが想定外の入力に対して過度に楽観的な報酬を返す場合、オンライン補正のサンプリング頻度が低いと一時的な方針悪化を招くリスクがあります。外部のリアルタイムAPIやハードウェアセンサーへの依存度が高いタスクでは、静的なワールドモデルの再現精度が制約要因となります。逆分散ノイズ除去を機能させるには、世界モデル自身が信頼性の高い不確実性スコア（アンサンブル分散やエントロピー）を出力できる設計が必要です。4B/9Bモデル自体のコンテキスト長制限により、長いコードベース全体の把握には階層的な要約メカニズムが別途必要となります。

学習時間の短縮には世界モデルだけでなく、実環境サンプルの選び方や補正方法も寄与し得ます。小さいエージェントの成績を世界モデル単独の効果とは断定できません。

ワールドモデルが想定外の入力に対して過度に楽観的な報酬を返す場合、オンライン補正のサンプリング頻度が低いと一時的な方針悪化を招くリスクがあります。外部のリアルタイムAPIやハードウェアセンサーへの依存度が高いタスクでは、静的なワールドモデルの再現精度が制約要因となります。逆分散ノイズ除去を機能させるには、世界モデル自身が信頼性の高い不確実性スコア（アンサンブル分散やエントロピー）を出力できる設計が必要です。4B/9Bモデル自体のコンテキスト長制限により、長いコードベース全体の把握には階層的な要約メカニズムが別途必要となります。世界モデルのドメイン外別の条件への対応限界とコールドスタート時の実環境データ要求。バイアス推定のために最小限の実機サンドボックスインフラをに排除できない点。長期地平タスクにおけるシミュレーション誤差の累積。

世界モデルの誤差が大きい長期課題でも短縮効果が保たれるか。実環境での確認をどの頻度で入れるべきかが未解決です。

著者らは、実際の環境で何度も試す代わりに、結果を予想する模型の中で練習させることで学習時間を短くしたと報告しています。別の課題でも同じ結果が出るなら、限られた実験時間の使い方を変えられるかもしれません。ただし、模型の予想が現実とずれる課題では同じ効果は保証されません。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）のスケーリングテンションにより、環境実行が支配的なボトルネックとなっている。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

著者らは、研究・コーディングベンチマークで3〜4倍のウォールクロック学習加速。実機学習ベースラインを上回る汎化解決率。具現化VLAポリシーへの転移成功による汎用性の実証

世界モデルのドメイン外汎化限界とコールドスタート時の実環境データ要求。

世界モデルによる学習短縮と実環境への転移が別の課題でも再現するなら、研究エージェントのスケーリングでは実環境試行とモデル内試行の配分が主要な設計変数になります。ただし、モデル誤差が方策学習へ与える偏りと、報告されたタスク範囲の狭さを切り分ける必要があります。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）のスケーリングテンションにより、環境実行が支配的なボトルネックとなっている。

PPOやGRPO等の標準的RLアルゴリズムでは、全軌跡に対して実サンドボックスを実行するため、軌跡長が長くなるにつれて計算リソースの大部分が待機時間に消費されていた。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

エージェント軌跡の生成後、環境状態遷移と報酬の計算をワールドモデル $\mathcal{W}_\phi$ が代行します。$\mathcal{W}_\phi$ の報酬推定誤差 $\hat{r} = r + \beta + \epsilon$（$\beta$: バイアス、$\epsilon \sim \mathcal{N}(0, \sigma^2)$）を相殺するため、定期的な極小実環境検証によって $\beta$ をオンライン推定して差し引く『Online Debiasing』と、不確実性 $\sigma^2$ の逆数で勾配更新ステップを再重み付けする『Inverse-Variance Denoising』を適用。これにより、方策改善の期待勾配が真の勾配へと厳密に収束することを報告しています。

著者らは、WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウトベンチマークで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

その評価で著者らは、ResearchBenchおよびSWE-benchにおいて、同等サンプル数で学習時間を3〜4倍短縮。実環境RLベースラインと比較して、ホールドアウトタスクでの成功率が平均+3.6%向上。9Bエージェントが、事前学習規模で10倍以上の120Bオープンモデルに対して勝率61.2%を記録。VLA（Vision-Language-Action）ロボティクスポリシー学習への転移で3.2倍の加速を実証

適する範囲は実機サンドボックスの実行時間が支配的な自律研究・コーディングエージェントのRL学習、シミュレータ環境を構築可能なロボティクス・具現化AI（VLA）のポリシー最適化、限られた計算リソースで小型モデル（4B/9B）を最高効率で強化したい開発パイプラインです。一方、外部の動的APIや予測不可能なハードウェア通信を伴うタスク、初期の環境対話データが全く存在せずワールドモデルを学習できないコールドスタート環境には適しません。

ワールドモデルの不確実性推定が破綻した場合、Inverse-Variance Denoisingの重み付けが誤作動するリスク。分散の非常に大きい長期地平タスク（Long-horizon tasks）におけるシミュレーション累積誤差。バイアス推定に必要な実機サンプリング率のタスク依存性（最小限のサンドボックス稼働が前提）。世界モデルのドメイン外汎化限界とコールドスタート時の実環境データ要求。バイアス推定のために最小限の実機サンドボックスインフラをに排除できない点。長期地平タスクにおけるシミュレーション誤差の累積。

世界モデルによる学習短縮と実環境への転移が別の課題でも再現するなら、研究エージェントのスケーリングでは実環境試行とモデル内試行の配分が主要な設計変数になります。ただし、モデル誤差が方策学習へ与える偏りと、報告されたタスク範囲の狭さを切り分ける必要があります。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）のスケーリングテンションにより、環境実行が支配的なボトルネックとなっている。

PPOやGRPO等の標準的RLアルゴリズムでは、全軌跡に対して実サンドボックスを実行するため、軌跡長が長くなるにつれて計算リソースの大部分が待機時間に消費されていた。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

マルコフ決定過程において、エージェントの方策 $\pi_\theta$ に対する環境遷移 $P(s'|s,a)$ および報酬 $R(s,a)$ をニューラルワールドモデル $\hat{P}_\phi, \hat{R}_\phi$ で代替します。世界モデルの報酬推定値は $\hat{r}(s,a) = r(s,a) + b(s,a) + \xi$（ここで $b$ は系統的バイアス、$\xi$ はゼロ平均分散 $\sigma^2(s,a)$ のノイズ）とモデル化されます。WMRLは、少数の実環境軌跡 $D_{\text{real}}$ からバイアス推定量 $\hat{b}$ をオンラインで追跡・減算する『Online Debiasing』を実施。さらに、方策勾配の更新において各遷移ステップの重みを $w(s,a) \propto 1/(\sigma^2(s,a) + \delta)$ とする『Inverse-Variance Denoising』を適用します。著者らは、この2重の補正下で修正ポリシー勾配推定量が真の目的関数勾配に対する不偏性を漸近的に回復し、収束上限バウンドが単調減少することを報告しました。

エージェントのアクション（実験コード等）を受け取り、環境遷移と報酬をシミュレーションするワールドモデルを導入。少数の実環境軌跡から報酬バイアスをオンライン推定し減算するOnline Debiasing。予測不確実性（分散）の逆数でポリシー勾配の更新を再重み付けするInverse-Variance Denoising。修正された方策勾配が真の勾配へ漸近的に収束することを理論的に示した。

エージェントのアクション（実験コード等）を受け取り、環境遷移と報酬をシミュレーションするワールドモデルを導入。少数の実環境軌跡から報酬バイアスをオンライン推定し減算するOnline Debiasing。予測不確実性（分散）の逆数でポリシー勾配の更新を再重み付けするInverse-Variance Denoising。修正された方策勾配が真の勾配へ漸近的に収束することを理論的に示した。

著者らは、WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウトベンチマークで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

実時間サンドボックスを常時占有する標準PPO/GRPOと比較し、学習壁時計時間を3.2〜4.1倍短縮。ResearchBenchの論文実装タスクにおいて、従来の実機学習を+4.2ポイント上回るタスク完了率を達成。ポストトレーニング済み4BエージェントがQwen-2.5-Coder-32BおよびLlama-3.1-70Bベースのオープンエージェントを上回る結果。具現化マルチモーダルポリシー（LIBEROベンチマーク上のVLA）において、成功率を維持しつつ学習時間を3.4倍短縮

その条件で著者らは、実時間サンドボックスを常時占有する標準PPO/GRPOと比較し、学習壁時計時間を3.2〜4.1倍短縮。ResearchBenchの論文実装タスクにおいて、従来の実機学習を+4.2ポイント上回るタスク完了率を達成。ポストトレーニング済み4BエージェントがQwen-2.5-Coder-32BおよびLlama-3.1-70Bベースのオープンエージェントを上回る結果。具現化マルチモーダルポリシー（LIBEROベンチマーク上のVLA）において、成功率を維持しつつ学習時間を3.4倍短縮

WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウトベンチマークで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

既存資料で報告された失敗や切り分けの範囲は次の通りです。ワールドモデルのアーキテクチャ自体が複雑なコード実行ツリーを忠実に予測できる表現力を持つ必要があり、モデル構築の初期コストが存在する。バイアス補正用実機サンプリングの頻度（$\alpha_{\text{real}}$）が極端に低い場合、局所的な報酬ハッキングによるポリシーの逸脱が発生し得る。不確実性推定値 $\sigma^2$ が不正確（アンダーエスティメート）な場合、ノイズ低減効果が減衰する。エージェントが未知のライブラリや外部リソースにアクセスするシナリオでは、事前学習済み世界モデルの静的知識の陳腐化が懸念される。

学習時間の短縮には世界モデルだけでなく、実環境サンプルの選び方や補正方法も寄与し得ます。小さいエージェントの成績を世界モデル単独の効果とは断定できません。

ワールドモデルのアーキテクチャ自体が複雑なコード実行ツリーを忠実に予測できる表現力を持つ必要があり、モデル構築の初期コストが存在する。バイアス補正用実機サンプリングの頻度（$\alpha_{\text{real}}$）が極端に低い場合、局所的な報酬ハッキングによるポリシーの逸脱が発生し得る。不確実性推定値 $\sigma^2$ が不正確（アンダーエスティメート）な場合、ノイズ低減効果が減衰する。エージェントが未知のライブラリや外部リソースにアクセスするシナリオでは、事前学習済み世界モデルの静的知識の陳腐化が懸念される。世界モデルのドメイン外汎化限界とコールドスタート時の実環境データ要求。バイアス推定のために最小限の実機サンドボックスインフラをに排除できない点。長期地平タスクにおけるシミュレーション誤差の累積。

世界モデルの誤差が大きい長期課題でも短縮効果が保たれるか。実環境での確認をどの頻度で入れるべきかが未解決です。

世界モデルによる学習短縮と実環境への転移が別の課題でも再現するなら、研究エージェントのスケーリングでは実環境試行とモデル内試行の配分が主要な設計変数になります。ただし、モデル誤差が方策学習へ与える偏りと、報告されたタスク範囲の狭さを切り分ける必要があります。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）のスケーリングテンションにより、環境実行が支配的なボトルネックとなっている。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

著者らは、多様な研究自動化ベンチマークで3〜4倍のウォールクロック学習加速。実機RLベースラインを上回るホールドアウト汎化性能。具現化VLAポリシーへの転移成功による手法の一般性実証

世界モデルのドメイン外汎化限界とコールドスタート時の実環境データ要求。

WMRLの壁時計時間短縮とVLAへの転移が異なる環境でも成立するなら、研究エージェントの計算配分を実環境ロールアウトから学習済み世界モデルへ移す根拠になる。一方、world-model biasと対象タスクの分布が外的妥当性を制約するため、実環境のみの対照との継続比較が必要である。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）のスケーリングテンションにより、環境実行が支配的なボトルネックとなっている。

PPOやGRPO等の標準的RLアルゴリズムでは、全軌跡に対して実サンドボックスを実行するため、軌跡長が長くなるにつれて計算リソースの大部分が待機時間に消費されていた。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

エージェント軌跡に対し、環境遷移と報酬の計算をワールドモデル $\mathcal{W}_\phi$ が代行する。$\mathcal{W}_\phi$ の報酬推定誤差 $\hat{r} = r + \beta + \epsilon$（$\beta$: バイアス、$\epsilon \sim \mathcal{N}(0, \sigma^2)$）を相殺するため、定期的な極小実環境検証によって $\beta$ をオンライン推定して差し引くOnline Debiasingと、予測分散 $\sigma^2$ の逆数で勾配を再重み付けするInverse-Variance Denoisingを適用。これにより方策勾配が真の勾配へと厳密に収束することを報告した。

著者らは、WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウトベンチマークで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

その評価で著者らは、ResearchBenchおよびSWE-benchにおいて、学習時間を3〜4倍短縮。実機RLベースラインと比較し、ホールドアウトタスク成功率が平均+3.6%向上。9Bエージェントが120Bオープンモデルに対して勝率61.2%を記録。具現化ロボティクスVLAポリシー学習において3.2倍の加速を実証

適する範囲は実機サンドボックスの実行時間が支配的な自律研究・コーディングエージェントのRL学習、シミュレータ環境を構築可能なロボティクス・具現化AI（VLA）のポリシー最適化、限られた計算リソースで小型モデル（4B/9B）を最高効率で強化したい開発パイプラインです。一方、外部の動的APIや予測不可能なハードウェア通信を伴うタスク、初期の環境対話データが全く存在せずワールドモデルを学習できないコールドスタート環境には適しません。

世界モデルの不確実性推定が不正確な場合のノイズ低減効果の減衰。長期地平タスクにおけるシミュレーション誤差の累積。バイアス推定のために最小限の実機サンドボックスインフラが必要である点。世界モデルのドメイン外汎化限界とコールドスタート時の実環境データ要求。バイアス推定のために最小限の実機サンドボックスインフラをに排除できない点。

WMRLの壁時計時間短縮とVLAへの転移が異なる環境でも成立するなら、研究エージェントの計算配分を実環境ロールアウトから学習済み世界モデルへ移す根拠になる。一方、world-model biasと対象タスクの分布が外的妥当性を制約するため、実環境のみの対照との継続比較が必要である。

自律研究エージェント（AutoResearch）の強化学習において、トークン生成（バッチ並列化可能）とサンドボックス実行（物理実時間と排他隔離が必要）のスケーリングテンションにより、環境実行が支配的なボトルネックとなっている。

PPOやGRPO等の標準的RLアルゴリズムでは、全軌跡に対して実サンドボックスを実行するため、軌跡長が長くなるにつれて計算リソースの大部分が待機時間に消費されていた。

環境実行をニューラルワールドモデルに置き換えるWMRL（World Model RL）を提案し、不世界モデル報酬に対してOnline DebiasingとInverse-Variance Denoisingを適用することで、理論的収束性を担保しながら3〜4倍の学習加速を達成する。

マルコフ決定過程において、エージェントの方策 $\pi_\theta$ に対する環境遷移 $P(s'|s,a)$ および報酬 $R(s,a)$ をニューラルワールドモデル $\hat{P}_\phi, \hat{R}_\phi$ で代替する。世界モデルの報酬推定値は $\hat{r}(s,a) = r(s,a) + b(s,a) + \xi$（$b$: 系統的バイアス、$\xi \sim \mathcal{N}(0, \sigma^2(s,a))$）と定式化される。WMRLは少数の実環境軌跡 $D_{\text{real}}$ からバイアス推定量 $\hat{b}$ をオンラインで追跡・減算するOnline Debiasingを実施。さらに各遷移ステップの重みを $w(s,a) \propto 1/(\sigma^2(s,a) + \delta)$ とするInverse-Variance Denoisingを適用する。著者らは、この2重の補正下で修正ポリシー勾配推定量が真の目的関数勾配に対する不偏性を漸近的に回復し、収束上限バウンドが単調減少することを報告した。

エージェントのアクション（実験コード等）を受け取り、環境遷移と報酬をシミュレーションするワールドモデルを導入。少数の実環境軌跡から報酬バイアスをオンライン推定し減算するOnline Debiasing。予測不確実性（分散）の逆数でポリシー勾配の更新を再重み付けするInverse-Variance Denoising。修正された方策勾配が真の勾配へ漸近的に収束することを理論的に示した。

エージェントのアクション（実験コード等）を受け取り、環境遷移と報酬をシミュレーションするワールドモデルを導入。少数の実環境軌跡から報酬バイアスをオンライン推定し減算するOnline Debiasing。予測不確実性（分散）の逆数でポリシー勾配の更新を再重み付けするInverse-Variance Denoising。修正された方策勾配が真の勾配へ漸近的に収束することを理論的に示した。

著者らは、WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウトベンチマークで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

実機サンドボックスを占有する標準PPO/GRPOと比較し、学習壁時計時間を3.2〜4.1倍短縮。ResearchBenchの論文実装タスクにおいて、実機学習を+4.2ポイント上回るタスク完了率を達成。ポストトレーニング済み4BエージェントがQwen-2.5-Coder-32BおよびLlama-3.1-70Bベースのエージェントを上回る結果。具現化マルチモーダルポリシー（LIBERO上のVLA）において、成功率を維持しつつ学習時間を3.4倍短縮

その条件で著者らは、実機サンドボックスを占有する標準PPO/GRPOと比較し、学習壁時計時間を3.2〜4.1倍短縮。ResearchBenchの論文実装タスクにおいて、実機学習を+4.2ポイント上回るタスク完了率を達成。ポストトレーニング済み4BエージェントがQwen-2.5-Coder-32BおよびLlama-3.1-70Bベースのエージェントを上回る結果。具現化マルチモーダルポリシー（LIBERO上のVLA）において、成功率を維持しつつ学習時間を3.4倍短縮

WMRLは多様な研究・コーディングタスクにおいて学習壁時計時間を3〜4倍高速化した。事後学習された4Bおよび9Bエージェントが、ホールドアウトベンチマークで48Bおよび120Bのオープンモデルを上回ったと報告した。具現化AI（VLA）ポリシー学習への転移実験において、3.4倍の学習時間短縮を達成した。

既存資料で報告された失敗や切り分けの範囲は次の通りです。ワールドモデルの構築に初期の探索・対話データセットが必要となる点。バイアス補正用実機サンプリング頻度が極端に低い場合の局所的報酬ハッキングリスク。不確実性推定値 $\sigma^2$ の精度にノイズ抑制効果が依存する点。動的な外部環境（ネットワークAPI等）との対話における世界モデルの追従限界。

学習時間の短縮には世界モデルだけでなく、実環境サンプルの選び方や補正方法も寄与し得ます。小さいエージェントの成績を世界モデル単独の効果とは断定できません。

ワールドモデルの構築に初期の探索・対話データセットが必要となる点。バイアス補正用実機サンプリング頻度が極端に低い場合の局所的報酬ハッキングリスク。不確実性推定値 $\sigma^2$ の精度にノイズ抑制効果が依存する点。動的な外部環境（ネットワークAPI等）との対話における世界モデルの追従限界。世界モデルのドメイン外汎化限界とコールドスタート時の実環境データ要求。バイアス推定のために最小限の実機サンドボックスインフラをに排除できない点。長期地平タスクにおけるシミュレーション誤差の累積。

世界モデルの誤差が大きい長期課題でも短縮効果が保たれるか。実環境での確認をどの頻度で入れるべきかが未解決です。

WMRLの壁時計時間短縮とVLAへの転移が異なる環境でも成立するなら、研究エージェントの計算配分を実環境ロールアウトから学習済み世界モデルへ移す根拠になる。一方、world-model biasと対象タスクの分布が外的妥当性を制約するため、実環境のみの対照との継続比較が必要である。