ZGCM-1：内部推論とツール利用を統合した高効率な7B基盤モデル

現在、生成AIの実務活用では、複雑な論理展開を追う推論能力と、膨大な資料を一度に読み込む長文脈処理能力が求められている。しかし、70億（7B）クラスの小型密モデルには物理的な限界がある。パラメーターとして保持できる静的な記憶容量が限られており、ウェブ上の膨大な公開知識を丸暗記することはできない。

さらに、文脈長を256K（約26万トークン）規模まで伸ばそうとすると、計算とメモリの負担が激増する。一般的なモデルが採用する完全注意では、すべての単語同士で関係性を計算するため、文脈が長くなるにつれて計算量とメモリ消費が急増する。特に推論時に過去の計算結果を保持するKVキャッシュが膨らみ、通常のマシンではメモリ不足に陥る原因となっていた。

これまでの研究開発では、長文脈化のために多大な計算資源を投入して全層の完全注意を維持するか、あるいは計算を削るために局所的な注意機構のみに頼るかの二者択一になりがちだった。前者は小型モデル本来の低コスト運用を損ない、後者は遠く離れた情報同士を結びつけにくくなるという弱点を持つ。

また、外部ツールを操作するエージェントの学習においても、従来の対話全体の履歴をそのまま模倣させる方法では、ツールの結果を受けて次の一手を判断する決定的な瞬間への教師信号が薄まりやすい。さらに、最先端モデルの多くは具体的な学習データや手順（レシピ）を公開しておらず、限られた計算資源を持つ組織が設計の妥協点や妥当性を検証することは極めて困難だった。

ZGCM-1の開発チームは、「小型モデルが公開ウェブの全知識を受動的に記憶することはできない」と前提を置いた。その上で、自ら深く考える内部推論と、外部ツールから能動的に情報を取得する行動を組み合わせることで、容量の制約を克服できるという仮説を立てた。

このアプローチは、「分厚い業務マニュアルを参照しながらトラブル対応を行う作業員」に例えると理解しやすい。作業員はマニュアルの全ページを暗記しているわけではない。普段は現在開いている前後の手順（局所的な情報）に集中し、節目ごとに全体の目次や構成（大域的な情報）を確認する。そしてマニュアルにない最新仕様や不明点があれば、外部の社内システムを検索して確認し、次の作業を決める。

ZGCM-1はこの情報処理の流れをモデル構造と学習手順に落とし込んだものである。なお、この比喩は情報の参照範囲と行動決定の役割分担を直感的に整理したものであり、モデルが人間と同じような文脈理解や作業目的を持っているわけではない。

ZGCM-1は、パラメーター数73.9億（7.39B）、全32層の密モデルである。構造の要となるのは、局所注意と大域注意を5対1の比率で配置した設計である。

32層のうち27層には、前後128トークンの窓だけを参照するゲート付き局所注意（gated SWA）を採用した。入力状態から計算されるゲート値を用いて局所的な注意出力を調整し、不要な情報の伝播を抑える。そして残る5層にのみ、文章全体を見渡せる大域注意を周期的に配置した。これにより、日常的な処理を低コストな局所窓で処理しつつ、要所の大域層で遠距離の文脈をつなぐ経路を確保している。

学習システムには、行列パラメーター向け最適化手法「Muon」とスカラー向け「Adam」を併用した。さらに、順伝播にE4M3、逆伝播にE5M2を使うハイブリッドFP8（8ビット浮動小数点数）や遅延スケーリング、極端な異常値を抑える処理（TWEO）を組み合わせ、低精度計算の安定性を確保した。

学習は、一般事前学習、中間学習、後学習の順に進められた。事前学習は平易な語彙から順に学ぶ段階を含む二段階で構成される。続く中間学習では、約6005億トークンを用い、文脈長を16Kから64K、そして256Kへと段階的に拡大した。後の段階でも短い文章を混ぜ直すことで、短い指示への応答精度を維持している。

外部ツールを使う学習では、対話履歴をマルコフ決定過程（MDP）形式の単一ステップ例へと再構成した。「タスク」「過去の履歴」「直前にツールから返った環境の応答」を現在の状態とし、「次に呼び出すべきツールの操作」を目標として学習させる。全体の対話履歴を学ぶ方式とも併用することで、長期的な整合性を保ちながら、環境の変化に即応する行動判断を身につけさせた。

指示追従を磨く教師あり微調整（SFT）では、一般データ96.46%、エージェントデータ3.54%からなる約492万件のデータを用いた。

ここでは、推論過程を出力する「思考あり」の例と、直接答えを返す「思考なし」の例を同等の重みで混合した。学習時にはシステム指示やユーザー入力、ツールの応答部分の損失計算を除外（マスク）し、モデル自身が出力した推論、回答、ツール呼び出しのみを教師あり学習の対象とした。公開モデルの256K版は、約194.6億トークンを10エポック学習している。さらに最終段階として、数学の正答判定やコードのテスト通過割合といった結果報酬に基づく強化学習（GRPO）を実施した。

検証には公開された256K対応SFTチェックポイントを用い、思考モードで測定を行った。数学などの課題では、原則32回の試行から平均一回正解率（mean pass@1）を算出した。

ウェブ調査課題では、最大64ステップの検索と閲覧を許す環境下で情報収集能力を測定した。またバイナリ関数検索では、10プロジェクトから抽出した計50件の課題に対し、解析ツール（Ghidra）経由で関数の先頭仮想アドレスが完全に一致したかを厳密に採点した。効率性の評価では、同一7Bバックボーンによるスループット比較や、バッチサイズ1、BF16形式でのKVキャッシュ容量の測定を行っている。

実験の結果、5対1の注意機構は長文脈におけるメモリ消費を大きく抑えた。文脈長256K、バッチサイズ1、BF16の等パラメーター比較において、KVキャッシュの容量は完全注意モデルの32.0GiBに対し、ZGCM-1は5.0GiBにとどまり、約6.4倍の削減を記録した。

処理スループットも、ステップあたりのトークン数を揃えた比較で完全注意に対し4Kで1.13倍、256Kで3.94倍へと向上した。また8基のH100 GPUを用いた実験では、全層完全注意と同等の平均損失1.93を保ちながら毎秒9,566トークンを処理した。文脈の段階的拡大でも、64Kを経て256Kを学んだ経路の最終損失は1.16となり、直接256Kを学んだ経路の1.19より良好だった。

ただし、論文が掲げる16K事前学習の「計算効率約4.2倍」という数値は、注意機構（1.4倍）、FP8（約1.5倍）、Muon（約1.8倍）、正規化設計（1.1倍）の個別測定値や推定値を掛け合わせた概算値である。単一の対照実験で測定された実時間ではなく、他環境での時間や費用がそのまま4.2分の1になる証拠ではない。

ベンチマークにおいて、ZGCM-1は同規模の小型モデルを上回るスコアを報告した。数学評価ではAIME 2026で75.00%、MATH-500で97.13%、HMMT 2025で70.42%を記録した。

最大64ステップのウェブ調査では、WebWalkerQAで63.09%、BrowseCompで19.43%、テキスト版GAIAで42.52%を達成し、比較対象のWebDancer-32B（38.40%、2.50%、40.70%）を上回った。さらにバイナリ関数検索では50件中31件（62.00%）で先頭アドレスの厳密一致に成功し、同表のQwen3-8B（6件、12.00%）を引き離して巨大なGLM-5.1（33件、66.00%）に近い水準を示した。

またSFTデータの比較実験では、約208万件を大まかに処理したモデル（平均67.78）に対し、厳格な選別で約114.5万件に絞り込んだモデルが6ベンチマーク平均で68.83を記録し、データ量よりも品質選別が重要であることが裏付けられた。

一方で、本手法には明確な弱点と失敗領域が存在する。最も顕著なのは、一般的なリポジトリ修正や端末操作の成功率の低さである。監査済み評価において、実リポジトリの修正課題「SWE-bench Verified Mini50」では50件中わずか2件（4%）しか解けず、「Terminal-Bench 2.0」でも89件中2件（約2.2%）の成功にとどまった。明確なツール手順がある検索やバイナリ解析とは異なり、不規則な端末環境では対応力を欠いている。

また、思考の例を増やしすぎると回答が長長しくなり、指示への厳密な従属性が損なわれる現象も指摘された。思考ありとなしの混合SFT前後の比較では、思考なし設定のAIME 2025が10.00%から43.33%へ向上した一方、知識問題のMMLUは72.63%から70.03%へ、コード生成のHumanEval+は73.78%から66.46%へ低下した。ただし、この比較は学習条件を完全に統制したものではない。

評価結果を見る上では、外部環境への依存性に注意が必要である。ウェブ評価の得点は、検索日時、検索・抽出サービス、モデルによる要約、採点役モデル、再試行設定に左右される。また、外部モデルの比較値の多くは公開報告からの引用であり、同一条件で再測定されたものではない。

ツールの呼び出し形式のずれやAPIの遅延、観測データのノイズによって、複数段階の行動手順が途中で崩れる脆さも残る。

したがって、本手法は長文脈でKVキャッシュを削りたい用途や、定義されたツールを使って情報を補うエージェント設計には適している。しかし、検索を使わずモデル内部の暗記に頼る用途、ツールの形式が頻繁に変わる環境、高い信頼性が求められる一般的なプログラム修正業務には適合しない。