BeNice!：通过KV共享填补循环架构的推理-记忆鸿沟
为什么值得读 该方法解决了循环架构中的关键内存瓶颈，通过复用键值缓存，在受限硬件上支持更长的上下文和更高的吞吐量。
研究人员提出BeNice!方法，使循环模型能够共享KV缓存，在保持质量不变的前提下显著降低内存占用并提升推理吞吐量。该方法通过预训练阶段的随机深度和后训练阶段的广播机制，实现了KV缓存的可共享性，解决了循环架构中的关键内存瓶颈。
标签 · #kv-cache
Flash-dLLM：面向快速、内存高效扩散语言模型的I/O感知KV缓存与并行解码
为什么值得读 使用基于扩散的语言模型的研究人员和工程师，通过采用此免训练加速框架，可显著降低推理延迟和内存开销。
Flash-dLLM引入I/O感知融合KV缓存内核与并行解码策略，无需辅助模型即可加速扩散语言模型。
Nvidia、AMD、CoreWeave 同时投资 Tensormesh——KV 缓存重用成为推理原语
为什么值得读 三家对手——Nvidia、AMD、CoreWeave——同时投资就是信号：KV 缓存重用（别重算已算过的）正被视为基础、中立的推理堆栈层，而非赢者通吃的产品。推理时代的经济学，浓缩于一轮募资。
Tensormesh 获 Nvidia、AMD、CoreWeave 投资 2000 万美元（5/27），并推出 Tensormesh Inference——产品化的 KV 缓存重用，宣称延迟与 GPU 成本最高降 10 倍。