arXiv 論文
最近の LLM フロンティア論文をピックアップし、実装上の取捨選択を解説します。
WEAVER：忠実性・長期間整合性・高速推論を同時に達成するロボット操作世界モデル（CMU）
WEAVERはロボット操作向けの学習済み世界モデルで、忠実性・一貫性・速度のトリレンマを解消する。高精度・長期間整合性・リアルタイム推論を単一アーキテクチャで実現し、最小限の実環境インタラクションでポリシー評価とテスト時プランニングを可能にする。
ART：強化学習で視覚ソフトトークンを最適化し、重み更新なしで凍結マルチモーダルLLMをファインチューニング
ARTはモデル重みではなく視覚入力トークンのみを最適化することで凍結マルチモーダルLLMをファインチューニングし、vLLMのようなコンパイル済み推論グラフ上でRLベースの適応を可能にする。凍結バックボーン上の視覚ソフトトークンの強化訓練により、重み更新なしで効果的な適応を実現する。
Latent Context Language Models：350Bトークンで訓練したencoder-decoder圧縮がKV-cacheプルーニングを撃破——16倍圧縮でもGSM8Kで81%、ベースラインは0%に転落
Goldstein、Goldblum、Izmailovの各グループにまたがる15人の著者チームが、encoder-decoder方式の文脈圧縮を本格的なスケールで復活させた。0.6Bエンコーダと4Bデコーダを約350Bトークンで訓練し、速度・メモリ・精度の新たなパレートフロンティアを達成。モデルとコードは全て公開。
「検索が役に立たないとき」：5モデル・10データセットの生物医学RAG研究が、わずか1〜2ポイントの向上しか見出さず——しかもバックボーンの方がリトリーバーより重要
新たなarXiv研究が、5つのオープンウェイトモデル、10の生物医学QAデータセット、4種のリトリーバー、4つのコーパスを横断的に調べ、RAGは無検索ベースラインに対しわずか1〜2ポイントしか上乗せしないと判明。バックボーンモデルの方がリトリーバーより重要——LLMにRAGを付け足す人すべてに冷や水を浴びせる結果だ。
LazyAttention：位置に依存しない KV 再利用が RAG キャッシュのボトルネックを解きほぐす
ICML 2026 の新しい論文 LazyAttention（arXiv:2606.04302）は、検索拡張生成における KV キャッシュの根強い制約に取り組んでいる。位置情報がキャッシュに焼き込まれているため、ある位置でキャッシュされたチャンクを別の位置で再利用できないのだ。著者らは位置エンコーディングをアテンションカーネル自体へ遅延させ、1 つの物理 KV コピーがコピーゼロで多数の論理位置に対応できるようにする。偏った文書ワークロードにおいて、Block-Attention に対し最初のトークンまでの時間が 1.37x 高速、スループットが
あなたの「推論プローブ」は、実は書式を読んでいるだけかもしれない：警鐘を鳴らす arXiv の結果
新しい arXiv 論文（2606.02907）は、Qwen3-14B の隠れ状態において演繹・帰納・アブダクション推論を 100% の精度で分離する線形プローブが、ソースデータセット・選択肢数・応答長といったタスク書式の交絡因子を統制した途端、偶然レベルへと崩れ落ちることを示している。要点は、あるラベルを分類できるプローブは、モデルがその概念を表現している証拠にはならないということだ。
Roll Out and Roll Back：拡散 LLM に自らの誤りを撤回させ、6 倍速いデコードを実現する
新しい arXiv 論文が WINO を提案する。これは拡散言語モデル向けの学習不要なデコード手法で、一度に多数のトークンを下書きし、その後で信頼できないものを検証して再マスクする。GSM8K で去ノイズ化ステップが最大 6.1 倍削減される一方、精度はむしろ 73.24% から 75.82% へ上昇したと報告しており、任意のファインチューニング版はさらに先へ進める。
LatentRAG、agentic RAG の推論を潜在空間へ移し推論レイテンシを約90%削減
arXiv の新論文 LatentRAG は、agentic RAG の多段推論とクエリ生成を、トークン単位のテキストから連続的な潜在空間へ移し、明示的エージェントと同等の精度を保ちつつ推論レイテンシを約90%削減する。
AutoTTS —— LLM エージェントが $39.90 で自らの test-time scaling 戦略を発見
AutoTTS は test-time scaling を controller-synthesis 問題に再構成：LLM エージェントが branch・continue・probe・prune・stop のタイミングを自ら発見し、手調整の best-of-N を置き換える。発見ループ全体が $39.90 / 160 分で、精度-コストのトレードオフで手調整ベースラインを上回る。
エージェント・コンテキスト減衰：なぜマルチツール・エージェントは 7 コール後にコヒーレンスを失うのか
マルチステップ・エージェント・コヒーレンスの実証境界：Claude 4.7、GPT-5、Gemini 3 Pro 全体で成功率が第 7 ツール・コールで急落。ツール・トレース・サマライゼーションによる軽減策で損失の大部分を回復。
プロンプト・キャッシュ経済：LLM コストの 73% はキャッシュ可能なプレフィックスに隠れる
1,400 万件のプロダクション LLM リクエストのトレース解析：入力トークンの 73% が 5 分間ウィンドウ内のリクエスト間で繰り返される。プロバイダ横断のプロンプト・キャッシュ・コスト削減を定量化 — Anthropic 5 分 TTL は節約の 81% を捕捉。
MCP サプライチェーンの定量化：20 万の公開サーバー、14% がツール・ハイジャックに脆弱
npm/PyPI レジストリ全体の 200,073 の公開 MCP サーバーの実証スキャン：14.3% がプロンプト・インジェクションによるハイジャックに脆弱なツール記述を公開；4.8% がフィルタされていないログで認証情報を漏洩。初の定量的 MCP 脅威モデル。
Tuna-2：pixel embedding がマルチモーダル理解で vision encoder を凌駕
ネイティブな統一マルチモーダルモデル。画像は patch embedding で直接エンコードされ、VAE も独立した vision encoder も持たない。スケール時の細粒度知覚で勝利。
結果型報酬は推論過程の検証可能性や因果的重要性を保証しない
CIR（推論の因果的重要性）と SR（推論の充足性）の 2 指標を提案。RLVR は正答率を上げるが、CIR や SR を必ずしも上げない。
TEMPO：大規模 reasoning モデルのための test-time training スケーリング
Test-time training フレームワーク。policy はラベルなし問題で精錬され、critic はラベル付きデータで周期的にキャリブレーションされる。OLMO3-7B は AIME 2024 で 33.0% から 51.1% に向上。
NPUMoE：Apple Silicon NPU 上の効率的な MoE LLM 推論
オフラインキャリブレーション、静的容量階層、load-aware なグラフ常駐により、NPU 上の MoE 不適合を解消するランタイム。M シリーズチップ上でレイテンシ 1.32〜5.55 倍低減。
エージェンティックコーディングのための test-time compute スケーリング
長 horizon コーディングエージェントの test-time scaling は「サンプリング問題」ではなく「表現問題」だと主張。Claude Opus 4.5 は SWE-Bench Verified で 70.9% から 77.6% に向上。
AgentForge：実行検証を中核に据えるマルチエージェント SWE フレームワーク
「実行検証」を第一級の原則として扱う。コード変更は次のエージェントに渡す前に Docker サンドボックスで実行通過しなければならない。SWE-Bench Lite で 40.0%。
LASA：意味的ボトルネック層で言語非依存の安全性アライメント
言語中立の「意味的ボトルネック」層を特定。この層にアライメントをアンカーすると、LLaMA-3.1-8B の攻撃成功率が 24.7% から 2.8% に低下。
The Amazing Agent Race：ツール呼び出しは強く、Web ナビゲーションは弱い
Wikipedia DAG パズルでベンチマークを構築。1,400 ケース 3 種のフレームワーク下、最良システムでも 37.2%。ナビゲーション誤りが支配的（27〜52%）、ツール呼び出し誤りは 17% 未満。