GameScaling：ゲーム経験とモデルの拡大は未知の世界への適応につながるか

画面を見てキーボードとマウスを操作するAIでも、別のゲームに移れば、見た目だけでなく規則、動き、目標が変わる。ある世界で役立った経験が、別の世界にも通じるとは限らない。本研究が問うのは、こうした違いをまたいで、経験量やモデル規模の拡大がどこまで効くかだ。

たとえば、ゲームエージェントを選ぶ担当者が、Minecraftで追加学習したモデルを別のゲームにも使えるか判断する場面を考える。Minecraft内の成績が上がっても、それだけでは判断できない。似た未知の3D世界と、主に2D・2.5Dからなる遠い未知世界では、必要な知識が異なるからだ。この「近い・遠い」は本研究の評価上の区分であり、あらゆるゲーム間の距離を一つの尺度で測ったものではない。

継続事前学習、略してCPTは、学習済みモデルに追加の経験を与える段階を指す。著者らによれば、従来の仮想世界のCPT研究では、データ量、データ構成、モデル規模を同時に変えることが多かった。そのため、成績向上が経験の量によるのか、経験の幅によるのか、モデルの大きさによるのかを分離しにくかった。

そこで著者らは、Qwen3.5を基盤とする実験モデル群をGameScalingと名付け、共通の操作形式と学習手順で比較した。モデルは0.8B、2B、9B、27Bの4規模、ゲーム経験は50〜1600時間の6段階、ゲームの混合は5種類で、計120条件となる。ただし、120本をすべて独立に最初から学習したわけではない。共通の学習経路から短い予算の条件を分岐させ、各条件が学習率の立ち上げから減衰までを含むようにしている。

5種類の混合はS1〜S5と呼ぶ。S1のゲーム部分はMinecraftのみで、S2〜S4では同じ80の正規化された世界ラベルへの配分を変える。S3のMinecraft比率は27.1%で、S5ではMinecraftを除く。全条件で、学習トークンの85%をゲーム軌跡、15%を固定の視覚言語データに充てる。

多様性は、世界ごとの比率から求める「有効世界数」で表す。特定世界への集中が弱いほど、経験が広く分散していると捉える指標だ。S5はS4より多様な次の段階ではなく、Minecraftを外した対照条件である。また、総時間を固定して他世界を増やせば、Minecraftの時間は減る。したがって、この実験は配分の効果を調べるもので、世界数そのものを増やす効果や、多様性だけの独立した効果を確定するものではない。

GameScalingは、指示、現在の画像、過去の画像と行動の履歴を受け取り、必要に応じて推論文を出した後、必ず操作を出す。1標本は20ターンで、前の推論や操作も後続ターンから見える。画面の入力とキーボード・マウス操作を共通化することで、世界をまたぐ比較の土台をそろえる。

1回の出力は200ミリ秒分の操作をまとめたもので、観測は毎秒5回、操作は毎秒30回に統一される。ここで学ぶのは、記録された状況に対して、記録された行動を続ける能力だ。一部のターンにはGPT-5.6-Lunaによる短い事後説明を付けるが、教師となる行動は変更しない。推論文が付くのは混合ごとに5.4〜6.0%のターンである。

これは、プレイして得た成功や失敗を直接返して学ぶ仕組みとは異なる。記録行動の模倣でどこまで操作能力と世界知識を獲得できるかが、今回の検証対象になる。

著者らは学習の進み方を二段階に解釈する。最初の50時間までをinterface phase、つまり操作形式への適応が広く効く段階と呼ぶ。この時点では、Minecraft、学習コーパス内、学習混合外の三つの検証集合すべてで、基盤モデルより損失が下がった。その後はworld phase、つまり個々の世界の経験に依存して上達する段階と捉える。

この説明の要点は、共通の操作を覚える効果と、その世界で何をすべきか学ぶ効果を分けることだ。担当者の例なら、初期の追加学習で操作出力が改善しても、さらにMinecraft経験を積むことが別ゲームの理解に直結するとは限らない。

ただし、この二段階は観測された学習曲線に対する著者らの解釈である。事後推論の注釈や固定の視覚言語データを外す比較は提示されておらず、各要素が能力向上にどれだけ寄与したかは分離できない。

検証損失は、未使用の記録に対して操作をどれだけ予測できるかを測り、低いほどよい。著者らはMinecraft、ゲームを均等に扱う学習コーパス内、全混合外のOODという三つの集合を用いた。録画や隣接する重複窓が学習側と検証側にまたがらないように分け、OODはタイトルや同一フランチャイズなどを除外した28ゲーム、計4480クリップで構成する。

実プレイでは、学習対象世界のMCUとViZDoom、関連する未知の3D世界のOmniGameArena（OGA）、遠い未知世界のGameWorldを使う。MCUは30課題を各5回、ViZDoomは4マップを各10回、OGAは7ゲームを各10回、GameWorldは170課題を各1回評価する。ViZDoomでは各マップの平均得点を100で割ってから平均するなど、集計方法も定める。

この二本立てにより、記録の予測精度と実プレイへの転移を区別できる。ただし、OOD検証集合の75%は3Dクリップで、GameWorldとは別集合だ。両者の結果を同じ対象についての測定として扱うことはできない。

実プレイの共通評価では、操作形式、プロンプト、画像解像度、履歴、試行数をそろえ、推論中に世界を止めるTPと、進め続けるRTを分ける。MCUの上限はTPで600ステップ、RTでゲーム内3分だ。GameWorldは死亡・失敗後も再開し、上限までの進捗を積算する。RTは待っている間にも状況が変わるため、判断の内容と応答時間を合わせた評価になる。

さらに著者らは、モデル規模、ゲーム時間、対象世界への配分から検証損失を近似する経験式を当てはめた。式の当てはまりは、ばらつきを説明する決定係数と、予測誤差の大きさを示す二乗平均平方根誤差（RMSE）などで測る。

全条件の決定係数だけでは不十分である。混合ごとの水準差を説明できれば、同じ混合で時間を増やした変化を捉えなくても高くなるからだ。そこで混合内の決定係数も確認し、同じ9パラメータを持つ混合別オフセットモデルとも比較した。

著者らの報告では、1600時間学習したS2〜S5のOGAスコアは、4混合・4規模を平均するとS1の約2.8倍だった。全16条件が同規模のMinecraft単独学習を上回った。複数ゲームへの配分が、関連する未知の3D世界への転移に有効だったことを示す。

しかし、同じ改善が遠い世界にも及ぶわけではない。TP評価で1600時間の27B-S3を基盤のQwen3.5-27Bと比べると、OGAは9.7から25.7へ16.0ポイント上がる一方、GameWorldは29.3から25.3へ4.0ポイント下がった。改善と悪化が、同じチェックポイントで併存している。

Minecraftだけを学んだ27B-S1は、1600時間時点でMinecraft以外の三つのベンチマークすべてで基盤を下回った。モデル拡大によるデータ効率の向上も、転移の改善を保証しない。担当者が既知ゲームの上達だけを見て採用を決めると、この差を見落とす可能性がある。

三要因の経験式は、Minecraftとコーパス内の検証損失をよく近似した。全120条件の決定係数はそれぞれ0.982、0.995、混合内でも0.912、0.959だった。RMSEは0.0020、0.0012で、混合別オフセット対照の0.0044、0.0035より小さいと著者らは報告する。

一方、OOD損失は50時間から1600時間までの全20曲線で0.007〜0.019上昇した。初期の改善後、学習時間を倍にする100回の比較のうち76回で悪化した。経験式の全体の決定係数は0.855でも、混合内では0.079にとどまる。全体の当てはまりは、継続学習による改善より、主に混合間の水準差を説明していた。

この式は観測範囲の経験的記述であり、一般的な学習法則ではない。外挿の検証も、おおむね規模や時間を一度倍にする範囲に限られる。既知世界の損失が予測できることから、遠い未知世界の能力まで予測できるとはいえない。

RT評価の4ベンチマーク平均では、1600時間のGameScaling-9B-S3が25.3、比較対象で最良の外部モデルだったGemini-3.8-Flashが19.2だった。小型モデルの平均要求往復時間は0.8Bが0.13秒、2Bが0.16秒で、200ミリ秒の行動区間内に収まった。9Bは0.31秒、27Bは0.69秒だった。

ただし、これは配信条件を含む結果である。GameScalingはH200上のvLLM、外部モデルは提供者APIと標準の推論設定を使う。遅延には提供者側とネットワークの時間が入り、画像取得とクライアント側の画像符号化は含まない。同一ハードウェアでの純粋な速度比較ではなく、短い推論が速度差をどれだけ生んだかも単独では確定しない。実時間成績と遅延を合わせて測る意義はあるが、別環境でも順位が同じかは再測定が必要だ。

研究全体にも留保がある。学習seedは一つだけで、別の初期乱数による再学習は行っていない。GameWorldも各課題1回のため、反復時のばらつきは分からない。遠い世界での不足が、模倣という学習目的、経験した世界の範囲、または両方に由来するかも未解決である。成功・失敗の直接フィードバックや世界の拡張が候補になるが、その効果は今後の検証を待つ。