BeNice!:KV共有によりループ型モデルの推論・メモリギャップを解消
読む理由 この手法は、キーバリューキャッシュの再利用により、制約のあるハードウェアでもより長いコンテキストと高いスループットを実現し、ループ型アーキテクチャにおける重要なメモリボトルネックを解決する。
研究者は、ループ型モデルでのKVキャッシュ共有を可能にするBeNice!を提案し、品質低下なしにメモリ使用量を削減し、推論スループットを向上させた。
読む理由 この手法は、キーバリューキャッシュの再利用により、制約のあるハードウェアでもより長いコンテキストと高いスループットを実現し、ループ型アーキテクチャにおける重要なメモリボトルネックを解決する。
研究者は、ループ型モデルでのKVキャッシュ共有を可能にするBeNice!を提案し、品質低下なしにメモリ使用量を削減し、推論スループットを向上させた。
読む理由 このフレームワークは、モデルを外部証拠に grounding することで内部推論のみの限界を解決し、トークンコストを抑えながら大幅な性能向上を実現します。
OpenVLHarnessは、永続メモリと異種ツール統合により、マルチモーダルモデルのスコアを最大12.6ポイント向上させます。
読む理由 新規量子化技術によりメモリ帯域幅のボトルネックを解消し、長文コンテキスト推論を最適化します。
WUSH-KVは、データ適応変換を用いてKVキャッシュのメモリコストを削減し、2ビット量子化でも低いパープレキシティを実現します。
読む理由 自律型エージェントを開発する際、メモリをテキスト形式のサブタスクとして構造化することで信頼性を向上させられる。提案されたユーティリティスコアは、有効なスキルをフィルタリングする実行前診断として機能する。
LLMエージェントのスキル転移において、サブタスクレベルでの誘導とテキスト形式が信頼性を高め、タスクレベルやコードベース手法を上回ることを実証。
読む理由 AI 計算の制約はロジックからメモリ積層へと移りつつある。16段ボンディングを最初に解決した者が、いまやすべての最前線 GPU が依存する要衝を握る。
NVIDIA は SK hynix、Samsung、Micron に2026年第4四半期までの16段 HBM4 の供給を要請——急な積層の飛躍により、先端パッケージングが AI サプライチェーンのボトルネックになる。
読む理由 注目すべきは「1 兆」ではなく「構造的」という語だ。UBS の 204% 目標引き上げは、AI メモリが脱サイクル化したという論に立つ:HBM4 完売、DRAM 58-63% 高、価格は 2029 まで固定。メモリが本当にサイクルを脱したなら、半導体の定石全体が書き換わる。
マイクロンが 5/26 に時価総額 1 兆ドルを初突破——史上 5 社目——UBS が目標株価を $1,625 へ 3 倍超に引き上げ、2026 年の HBM4 生産能力が長期契約で完売した後に。