标签 · #looped-models

BeNice!：通过KV共享填补循环架构的推理-记忆鸿沟

为什么值得读 该方法解决了循环架构中的关键内存瓶颈，通过复用键值缓存，在受限硬件上支持更长的上下文和更高的吞吐量。

研究人员提出BeNice!方法，使循环模型能够共享KV缓存，在保持质量不变的前提下显著降低内存占用并提升推理吞吐量。该方法通过预训练阶段的随机深度和后训练阶段的广播机制，实现了KV缓存的可共享性，解决了循环架构中的关键内存瓶颈。