BeNice！透過 KV 共享閉合循環模型的推理記憶體缺口
為什麼值得讀 此方法解決了循環架構中的關鍵記憶體瓶頸，透過重用鍵值快取，允許在受限硬體上處理更長的上下文並提高吞吐量。
研究人員提出 BeNice！方法，使循環模型能夠共享 KV 快取，在無損品質的前提下降低記憶體使用量並提升推理吞吐量。
標籤 · #kv-cache
Flash-dLLM：具備 I/O 感知能力的 KV 快取與平行解碼，實現快速且記憶體高效的擴散式大型語言模型
為什麼值得讀 使用基於擴散式語言模型的研發人員與工程師，可透過採用此無需訓練的加速框架，大幅降低推論延遲與記憶體開銷。
Flash-dLLM 引入 I/O 感知融合 KV 快取核心與平行解碼策略，在不依賴輔助模型的情況下加速擴散式大型語言模型。
Nvidia、AMD、CoreWeave 同時投資 Tensormesh——KV 快取重用成為推論原語
為什麼值得讀 三家對手——Nvidia、AMD、CoreWeave——同時投資就是訊號：KV 快取重用（別重算已算過的）正被視為基礎、中立的推論堆疊層，而非贏者全拿的產品。推論時代的經濟學，濃縮於一輪募資。
Tensormesh 獲 Nvidia、AMD、CoreWeave 投資 2000 萬美元（5/27），並推出 Tensormesh Inference——產品化的 KV 快取重用，宣稱延遲與 GPU 成本最高降 10 倍。