good-view JEPAで表現はなぜ整列するのか――プラトン的表現仮説の十分条件と実験
Proving and Improving the Platonic Representation Hypothesis with JEPAs
表現の整列を左右するのは規模だけではなく、何を正例として結ぶか
Hugging Faceの注目論文を中心に、論文になる前の重要な技術発表も厳選。肝のアイデアから評価設計、限界まで、ひとつの読み筋で理解できます。このサイトについて →
LOWN：予測の一致で画像への再アクセスを選ぶ拡散型VLMの効率化
Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
画像なしの予測で直近の画像付き予測を点検し、LLaDA-Vの10評価で平均品質99.6%、復号FLOPs35.3%を報告
Memory Tax：エージェント記憶の利益と損失を生の履歴検索と比べる
Memory Tax: Dissecting the Net Value of Agent Memory
記憶の加工は正解を増やす一方、検索できたはずの証拠を失わせることもある
RSIHub：エージェントの自己改善手法を共通基盤で比較するフレームワーク
RSIHub: A Composable Framework for Agent-Evolution Methods
自己改善の総合点が上がっても、未見タスクへ転移するとは限らない
DecisionPivot：LLMの判断の一貫性と確信度を診断するベンチマーク
DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
確率の順序が正しくても判断は誤る――対照問題で平均スコアの内側を調べる
AutoSFT：実行・分析・合成を分担し、SFTの訓練データ改善を自動化する
AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
データの配合調整に偏る単一エージェントに、実行の分離と複数視点の分析を加える
Into the Unknown：AIエージェントは未解決の科学研究を完遂できるか
Into the Unknown: Benchmarking AI agents on open scientific research problems
9種のAIエージェントによる135件の研究提出物を評価し、研究者が設定した全条件を満たす提出物はゼロだった
Correction Training：拡散モデルの予測を反復修正し、生成品質を改善する学習法
Correction Training for Diffusion Models
ノイズ除去の回数だけでなく、各段階の予測を修正する回数に生成計算を配分する。
AKV：長時間エージェントのKVキャッシュを直接管理する仕組み
Cache Engineering for Agents
履歴の文章を残したまま古いツール応答のKVを落とし、保持した状態の再計算を避ける。操作の順序まで追跡する配信システムで、その効果を評価した。
VLA-Rolling：未実行の行動列を再利用し、適応的なノイズ除去でロボット制御を効率化
VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse
捨てていた行動の続きを次の推論へ。環境変化に応じて再利用量と計算量を調整する
VEDJE：フレーム別キャッシュで動画・テキスト検索の精度と保存量を両立
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
動画特徴を一度だけ圧縮して再利用。検索方向によって異なる精度と保存量の交換条件を示す。
PremiseCheck：査読コメントを前提に分解して事実確認する
PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews
論文を読む役割を判断モデルに任せ、査読コメントの事実確認を効率化する。
Thinking Inertia：「考えずに答えて」と指示してもLLMに残る可視推論
Thinking Inertia: LLMs Keep Thinking When Told Not To
推論オフ設定だけでは回答のみの出力を保証できず、自由回答では厳格な抑制と正答率のトレードオフが現れる。
Waypoint-OPD：強化学習の途中経過で教師の方策変化を選別して蒸留する
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
教師の学習途中も参照し、前半と後半で方向が一致する方策変化を生徒へ渡す
Dynamic Band Splitting：入力に合わせて周波数帯の境界を変える音源分離
Learning Where to Split: Dynamic Band Splitting for Audio Source Separation
帯域トークン数を固定したまま、音に合わせて周波数分解能を配分する
ReMaRk：複数の正解をまとめて報酬にし、LLM推薦の強化学習を効率化
Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
正解を一人分だけ選ぶ採点から、依頼に集まった回答をまとめて使う学習へ
S-Space：マルチモーダル言語モデルの内部座標から空間推論の失敗を探る
S-Space: Exploring Spatial Workspace in Multimodal Language Models
位置を表現できても、視点を変えて判断できるとは限らない
DoSA：選択結果を保ちながら疎なAttentionの参照先探索を高速化
DoSA: Dots Sparse Attention
候補のスコア上界が選択閾値に届かなければ、全ヘッドでの採点を省ける。
Reflex：視覚と全身制御を段階的に学び、人型ロボットが飛来する箱を受け止める
Reflex: Visually Grounded Reactive Humanoid Control
動作、物体の運動、視覚を分けて学習する設計。実機の捕球成功率は2.5 mで65%、5 mで40%と、距離による課題も示した。
CheckerBench：AIエージェントは静的解析チェッカーを開発できるか
CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
コンパイルできても十分ではない――欠陥の意味と誤検知まで問うチェッカー開発評価
DyRAD：物体の運動とセンサー応答を分け、動的な運転シーンのレーダー観測を合成
DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
点反射体と固定センサー応答を組み合わせ、運動する物体のドップラーまで再構成する。
Judged Useless, Queried Anyway：エージェントは「役に立たない」という判断を検索停止につなげられるか
Judged Useless, Queried Anyway: Tool-Using Agents Rarely Turn Their Own Evidence Judgments into Stopping Decisions
検索結果を無用と判断しても検索は続く。連続した判断を停止行動へ変換する外部制御を検証
U-Space：言語モデルの不確かさを内部状態から読み解く
U-Space: Uncovering When and Why Uncertainty Arises in Language Models
推論のどこで不確かさが生じるかを可視化し、出力長を統制して信頼度推定を評価する
Recurrent Looped Transformer：トークン間の再帰で状態追跡を長い入力へ外挿する
Recurrent Looped Transformer
直前の最終状態を次のトークンへ渡す設計が、合成タスクで長さ外挿を改善。更新頻度と並列性には課題ごとのトレードオフがある。
STEPQuant：誤差の寿命と位置から設計するDelta則の再帰状態量子化
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
長く残る誤差と出力に響く行を見極め、再帰状態の精度を配分する
Sharpening Tax：後訓練でエージェントの正答率と解ける問題の幅はどう変わるか
Sharpening Tax in Post-Training
一度で解く確率が上がっても、繰り返せば解ける問題の幅は狭まることがある。後訓練のこの変化を測り、訓練時の温度調整で緩和する研究。
OC-SFT：順位精度では見えないLLMスコアラーの順序依存を測り、減らす
Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
順位精度が近いモデルでも、候補を並べ替えると採用文書や回答は変わる。OC-SFTはスコアの順序間分散を学習時に抑える。
Multilingual GSM-Symbolic：15言語の数学問題で探る、LLMの能力移転を左右する要因
Multilingual GSM-Symbolic: What determines capability transfer across languages?
言語全体の難しさは予測できても、特定モデルの苦手言語は残る
FuseReg：層のランダム融合で画像復元と生成のずれを緩和する
FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders
生成器と潜在サンプルを固定しても、層融合に頑健なデコーダへの交換で生成FIDが改善した
Wild AI：Web上のAI生成テキストは事前学習でいつ役立ち、いつ害になるのか
How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
AI生成Webテキストの追加効果は人間由来データの量と評価対象に依存し、混合検証セットは人間の文章への悪影響を隠しうる。
HC-DLM：連続潜在状態とトークンの反復更新で並列生成の依存関係を扱う
Hierarchical Continuous Diffusion Language Models
トークンを毎ステップ読み直して潜在状態へ戻す設計が、制約の強い生成課題で改善を示した。
AgenticGenPlan：コーディングエージェントが未見のロボット作業に使える計画プログラムを生成
Coding Agents for Generalized Task and Motion Planning Problems
シミュレータで試行錯誤して生成したコードを固定し、未見の状況でロボット作業の成功率と実行時間を評価
DN-MOPD：複数教師のフィードバック量を領域別に調整する蒸留手法
Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
教師を正しく割り当てても知識は移るとは限らない。DN-MOPDは領域ごとの指導量を調整する
Disaggregated Quantization：LLMの事前処理と逐次生成に量子化を使い分ける
Disaggregated Quantization: Specializing LLM Prefill and Decode
事前処理には高速な低精度演算、逐次生成には小さな重みを割り当てる
APort Vault：AIエージェントの決済権限を実行結果で検証
APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport
決済前の権限確認を挟むと、許可外の送金は比較可能な条件で105件から0件に減った
WROP：世界モデルに物体の永続性と固体性を学習させる
Training Object Permanence in World Models
WROPは、遮蔽後も物体を追跡できる世界モデルをどう訓練するか
OmniEcho：身体性エージェントのための空間音響・視覚統合理解
OmniEcho: Audio-Visual Spatial Understanding for Omni-Modal Embodied Agents
FOA音響の「意味」と「方向」を分けて統合し、見えない音源への移動まで評価する
SpeakerMem-R1：複数人の長期対話を発話者中心の二系統メモリで再構成する
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
「誰が何を言い、状態がどう変わったか」を二系統で残すSpeakerMem-R1
WorldCrafter：要求視点に合わせて履歴を圧縮する暗黙的3D認識メモリ
WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
WorldCrafterは、過去の映像を要求視点に応じた固定長トークンへ変換し、長時間の再訪整合性を高める
onPanda：トークン単位の修正でオンポリシーなLLM・エージェント用データを作る
onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction
最初の不適切なトークンを直し、続きを再生成する反復型アノテーション
RecreationWorld：GUI探索と実装・検証を統合するコンピュータ操作エージェント環境
RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
動く参照アプリを観察し、コードで再現し、挙動まで検証する長期課題
T4を含むコーディングエージェントのハーネス設計を分解検証
An Empirical Study of Harness Design for Coding Agents
計画、操作空間、コンテキスト管理を分けて調べると、最適なハーネスはモデル能力、タスク、コンテキスト予算によって変わった。
RelateAnything：物体ラベルなしで任意の領域間関係をリアルタイム予測
RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs
領域の出所と述語語彙を推論時に差し替えられる、53Mパラメータの関係予測モデル
SoL-Pi：長時間コーディングエージェントのトークン効率を高める自動ハーネス研究
SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness
モデルを変えず、実行基盤を自動探索してトークン通信量を削減するSoL-Pi
VA-Bench：視覚デモ・能動知覚・メートル制御で身体的空間知能を測るベンチマーク
VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control
空間を説明できても、ロボットは動かせない——VA-Benchが測る認識と実行の隔たり
MiniMax-H3は物理世界を推論できるか――4種のオムニモーダル評価
Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
映像・画像・音声の断片を組み合わせても成功率は41.97%。MiniMax-H3の「入力できる」と「推論に使える」の隔たりを測る
Semantic EOS Aggregation：オンポリシー蒸留の長文化を終了トークン不整合から捉える
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
異なるEOS表現を一つの停止行動として学習するSemantic EOS Aggregation
Jevとは何か：話すAIではなく、ソフトウェアの中で決めるAI
Introducing System One Models & Jev
型付きの選択肢と確率を並列に返すJevは、言語モデルとは異なる自動化の入口になりうるか
XConf：過去の類似課題の成績からLLMの確信度を補正する
Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents
自己申告の確信度を過去の成功率で補正し、回答・再試行・委任の判断につなげる
ImpossibleRubrics：生成ルーブリックを報酬信号として敵対的に検証する
ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals
具体的な採点基準が攻撃の手掛かりになる—ImpossibleRubricsが示す生成ルーブリックの盲点
ZGCM-1：内部推論とツール利用を統合した高効率な7B基盤モデル
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
7.39Bモデルは長文脈・段階学習・外部ツールで容量制約をどこまで補えるか
Benchmark Radar：AIベンチマークの出典・採用履歴・スコア推移を追跡する検索基盤
Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation
比較できないスコアを無理に束ねず、評価の根拠までたどれる「生きた」ベンチマーク台帳
Marigold V2：Diffusion Transformerを単眼深度推定へ転用する2段階学習法
Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
Marigold V2は生成用DiTを単一ステップの高精細な深度推定器へ変える
Random Attention：長文推論におけるKVキャッシュ圧縮の常識を覆すランダム破棄
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
プロンプト保護と推論トレースの冗長性に着目し、スコア計算なしで同等精度とスループット32〜43%向上を達成
Dr. Claw：CLIエージェントを束ねて監査可能な研究ループを実現するAI Scientistワークスペース
Dr. Claw: An AI Scientist Workspace for Vibe Research
分断されたターミナルやチャットを統合し、人間が追試・復元可能なAI研究基盤をオープンソースで実現
WMRL：ワールドモデルによる自律研究エージェントの強化学習スケーリング
Scaling Automatic Research Agents via World Models
実機サンドボックス実行の壁を仮想世界モデルで打破し、研究AIの学習を3〜4倍高速化
AuK：自然言語指示により音声生成と編集を統一するオープンソース基盤モデル
AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing
195万時間の音声データとFlow Matchingにより、生成と編集を単一基盤モデルに統合
自律エージェントと自己進化の探求
推論能力を獲得した知性が自律エージェントや自己進化へと跳躍を試みる現在進行形の年。日々の研究は活発に発表されているものの、過去の原典のように『世界の前提を不可逆的に決定づけた』と断定できる不朽のブレイクスルーはまだ見極めの途上にあり、次なる新パラダイムの決定打を待望する過渡期に位置づけられます。
推論革命とオープンの地殻変動
純粋強化学習による自己反省と「ひらめき」の創発。巨大独占の厚い壁を打ち破り、推論モデルの知性そのものがオープンソースコミュニティへと解放された歴史的転換点。
工学スケーリングの極致と推論への助走
生成AIの商用化が爆発した一方、メガテック各社によるモデルの非公開化（技術詳細を伏せたSystem Card化）が加速。他の年に見られるような『世界の前提を不可逆に変えるオープンなイノベーション原典』が表舞台に登場しなかった特異な年です。既存Transformerのスケーリング限界が議論される水面下で、次なる推論革命への静かな助走が進みました。
オープンLLMエコシステムの夜明け
限られたメガテックの独占物だった巨大言語モデルを、効率的な計算設計によって研究コミュニティへ解放。世界中のオープンソースAIエコシステムを爆発させた震源地。
画像生成の民主化と対話アライメント
潜在空間拡散モデルによる画像生成の民主化と、人間に寄り添うアライメント技術（RLHF）の確立。生成AIが専門家のツールから万人の対話・創作の相棒へと変貌を遂げた決定打。
InstructGPT：人間のフィードバックによる指示追従言語モデルの訓練
Training language models to follow instructions with human feedback
人間の意図にモデルを揃えるRLHFを確立し、ChatGPT誕生を決定づけたアライメントの原典
潜在空間拡散モデル（LDM）：知覚的圧縮による高解像度画像合成
High-Resolution Image Synthesis with Latent Diffusion Models
拡散プロセスを低次元潜在空間に移行しコンシューマGPUでの高解像度生成を可能にしたStable Diffusionの原典
科学AIの奇跡とマルチモーダル統一
ノーベル賞へと至るタンパク質立体構造予測（科学AI）の奇跡と、言語と視覚の埋め込みを対照学習で統一したCLIP。ディープラーニングが自然科学とマルチモーダルの新地平を拓いた特異点。
AlphaFold 2：原子分解能による高精度タンパク質立体構造予測
Highly accurate protein structure prediction with AlphaFold
50年来のタンパク質立体構造予測問題を原子分解能で解きノーベル化学賞を受賞した科学AIの頂点
LoRA：大規模言語モデルのための低ランク適応
LoRA: Low-Rank Adaptation of Large Language Models
重み更新の低ランク分解により、巨大LLMの省メモリ・高速チューニングを民主化した世界標準
CLIP：自然言語による教師あり学習を用いた汎用視覚モデルの獲得
Learning Transferable Visual Models From Natural Language Supervision
自然言語監督による対照学習で視覚と言語の共通空間を構築しゼロショット画像認識を確立した原典
スケーリング則の実証と創発の発見
計算資源と知能の普遍的スケーリング則の実証、そして巨大化による「創発」とFew-Shot学習の発見。現代の大規模言語モデル開発競争のゴングを鳴らした年。
基盤構造の検証と巨大化前夜の地盤固め
前年のTransformerとBERTの衝撃を受け、世界中が派生モデルの洗練や内部メカニズム解析（BERTology）に熱中した過渡期。他の年のように新たな構造の跳躍が起きるというよりは、来るべき巨大モデル時代へ向けた地盤固めと工学的検証に注力された1年でした。
双方向事前学習とImageNetモーメント
文脈を左右双方向から捉える事前学習と、下流タスクへのファインチューニングという普遍的パラダイムを確立。自然言語処理に「ImageNetモーメント」をもたらした原点。
Attention Is All You Need：知能の共通言語
再帰も畳み込みも捨て去り、「注意（Self-Attention）」のみで世界のパターンを捉えるアーキテクチャ。以後の言語、画像、音声、あらゆる知能の共通言語となった絶対の祖。
深層強化学習とAlphaGoの衝撃
深層学習とモンテカルロ木探索の融合による人類最強棋士の撃破。世界に「AIが人間の直観を超える」衝撃を不可逆的に刻んだ現代AIブームの真の起爆剤。
残差接続（ResNet）による超深層の開拓
勾配消失により数十層が限界だったニューラルネットワークに「残差（Skip Connection）」を導入し、152層の深宇宙を拓いた原典。現代の全ディープラーニングモデルの構造的祖先。
s1：単純なテスト時スケーリング（思考トークン強制による軽量推論革命）
わずか1,000件の思考データと推論時待った（budget forcing）だけで、巨額強化学習なしにOpenAI o1互換の自己反省推論を再現した超軽量オープン推論モデル
DeepSeek-V3 技術報告書：MLAと極小スパースMoEがもたらす超低コストフロンティアモデル
671B総パラメータ（活性化37B）をわずか557万ドルの事前学習コストで達成。MLAとDeepSeekMoE、FP8混合精度で業界を震撼させたオープンフラッグシップ
Qwen2.5 技術報告書：コード・数学・長文推論におけるオープン基盤モデルの包括的フロンティア
0.5Bから72Bまで同一アーキテクチャで網羅。18兆トークン事前学習と合成データ強化学習により、オープンソースLLMの標準的到達点を大幅に押し上げた決定打
AI Scientist：自律型AIエージェントによる完全自動の科学的発見フレームワーク
アイデア着想、実験設計・実行、可視化、論文執筆、査読まで全プロセスを完全自律化。1論文あたり15ドルの計算コストで研究サイクルを回す自律エージェントの新地平
Mixtral of Experts：スパースMoEによるオープンウェイト言語モデルの新基準
全47Bパラメータ中トークンあたり13Bのみ活性化。Llama 2 70BやGPT-3.5を凌駕する推論速度と性能を両立したオープンMoEの決定版
直接選好最適化（DPO）：言語モデルは潜在的に報酬モデルである
複雑な強化学習（PPO）や明示的な報酬モデルを全廃し、単純なクロスエントロピー損失で人間の選好に言語モデルを直接整列させるアライメント革命
GQA：マルチヘッド事前学習チェックポイントからの汎用マルチクエリアテンション構築
Multi-Head Attentionの表現力とMulti-Query Attentionの高速推論・省KVキャッシュを補間し、現代LLMのデファクトとなったグループドクエリアテンション
視覚指示チューニング（LLaVA）：画像と言語を結ぶマルチモーダル指示モデル
GPT-4で生成した画像・指示対データセットと単純な線形射影層だけで、LLaMAに世界最高峰の画像対話能力を授けた現代マルチモーダルLLMのひな型
大規模弱教師あり学習による頑健な音声認識（Whisper）
インターネット上の68万時間の音声と弱ラベルテキストを事前学習。方言や環境ノイズをものともせず文字起こしと翻訳の常識を塗り替えた音声界のTransformer
ReAct：言語モデルにおける推論（Reasoning）と行動（Acting）の相乗的結合
「思考（Thought）」と「行動（Action/Observation）」のループ構造により、幻覚を抑え外部ツールと対話する現代AIエージェントの基盤パラダイムを確立
FlashAttention：GPUハードウェア階層を考慮した高速・省メモリな厳密アテンション
GPUメモリ階層（SRAMとHBM）間のデータ転送ボトルネックに着目し、タイリングとオンラインSoftmaxによりアテンション行列を保持せず2〜4倍高速化を達成
計算量最適化された大規模言語モデルの学習（Chinchillaスケーリング則）
Kaplanらの従来則を修正し、計算量増加に伴いパラメータ数とデータセットトークン数を等しい比率でスケールさせるべきであることを実証した現代LLM設計の教義
思考の連鎖（Chain-of-Thought）プロンプティングによる大規模言語モデルの推論創発
「段階的に考えてみましょう」。中間の思考ステップを自然言語で例示するだけで、数理・論理タスクの推論精度を爆発的に引き出した現代プロンプティングの原点
RoFormer：回転位置埋め込み（RoPE）によるTransformerの強化
複素数平面での回転行列を用い、絶対位置埋め込みをアテンション内積の相対位置関係へと自然に変換する現代LLMのデファクトスタンダード