2026-10-24 — views
BeNice!：通过KV共享填补循环架构的推理-记忆鸿沟
为什么值得读 该方法解决了循环架构中的关键内存瓶颈，通过复用键值缓存，在受限硬件上支持更长的上下文和更高的吞吐量。
研究人员提出BeNice!方法，使循环模型能够共享KV缓存，在保持质量不变的前提下显著降低内存占用并提升推理吞吐量。该方法通过预训练阶段的随机深度和后训练阶段的广播机制，实现了KV缓存的可共享性，解决了循环架构中的关键内存瓶颈。
循环架构中的内存挑战
循环架构提供了一种在保持参数数量固定的同时提升模型质量的诱人方式。它们通过让激活值反复通过同一组层来实现这一目标。然而，这种递归性在推理过程中造成了显著的瓶颈。每次递归都会生成独立的键值（KV）缓存，导致内存使用量随步骤数线性增长。为了解决这一问题，先前的工作探索了KV共享，即在深度方向上共享KV缓存。一些研究发现，最终递归的KV缓存可以与早期递归共享而不会降低质量，这一特性被称为KV可共享性。尽管具有这种潜力，但KV可共享性背后的机制仍知之甚少。即使经过相同训练的循环架构也不一致地表现出这一特性，使得难以在生产系统中依赖它。
引入BeNice!
为了可靠地实现KV可共享性，研究人员提出了一种名为BeNice!的新方法。该方法包含两个不同的阶段，旨在诱导并强制执行缓存共享。在第一阶段，预训练期间使用随机深度。这项技术诱导收缩残差动态，使表示在递归过程中趋向于共同极限。这一步骤为模型共享奠定了基础。第二阶段是一种后训练方法，它将最终递归的KV缓存主动广播到第一个递归中。在此阶段，模型被训练以产生兼容的残差，同时保持原始模型的质量。结果是一个既支持KV可共享性，又匹配标准微调方法未共享验证困惑度的模型。
性能与兼容性
BeNice!证明了KV共享与其他内存高效技术是互补的。它能与替代的KV压缩方法有效组合，例如内存高效的序列混合器，如多潜注意力（multi-latent attention）和Kimi delta注意力。它也与低精度KV缓存量化方法配合良好，包括fp8、mxfp8和nvfp4。在模拟的低内存长上下文推理场景中，收益显著。KV共享将缓存命中率提高了高达31.4%。吞吐量提高了高达23.6%，p90首Token时间减少了高达83.6%。这些指标突显了在资源受限环境中实现显著效率提升的潜力。
实务笔记
开发人员应在预训练期间集成随机深度，并应用BeNice!后训练广播步骤以启用KV缓存共享。这种方法允许你在长上下文推理中显著减少内存占用和延迟，同时不牺牲模型质量。