BeNice!：KV共有によりループ型モデルの推論・メモリギャップを解消
読む理由 この手法は、キーバリューキャッシュの再利用により、制約のあるハードウェアでもより長いコンテキストと高いスループットを実現し、ループ型アーキテクチャにおける重要なメモリボトルネックを解決する。
研究者は、ループ型モデルでのKVキャッシュ共有を可能にするBeNice!を提案し、品質低下なしにメモリ使用量を削減し、推論スループットを向上させた。
タグ · #kv-cache
Flash-dLLM: 高速でメモリ効率的な拡散LLMのためのI/O対応KVキャッシュと並列デコーディング
読む理由 拡散ベースの言語モデルを扱う研究者やエンジニアは、この学習不要の加速フレームワークを採用することで、推論レイテンシとメモリオーバーヘッドを大幅に削減できる。
Flash-dLLMは、補助モデルを用いずに拡散LLMを高速化するためのI/O対応融合KVキャッシュカーネルと並列デコーディング戦略を導入する。
Nvidia・AMD・CoreWeave が揃って Tensormesh に出資 —— KV キャッシュ再利用が推論の基本要素に
読む理由 3 つのライバル —— Nvidia・AMD・CoreWeave —— が揃って出資するのが合図だ：KV キャッシュ再利用（既に計算したものを再計算しない）が、勝者総取りの製品ではなく、基盤的で中立な推論スタック層として扱われている。推論時代の経済学が一つのラウンドに凝縮。
Tensormesh が Nvidia・AMD・CoreWeave から 2000 万ドルを調達（5/27）、Tensormesh Inference を提供開始 —— 製品化した KV キャッシュ再利用で遅延と GPU コストを最大 10 倍削減と主張。