2026-09-30 — views
WUSH-KV：用于低比特 KV 缓存量化的数据自适应变换
为什么值得读 通过新颖的量化技术减少内存带宽瓶颈，优化长上下文推理。
WUSH-KV 利用数据自适应变换降低 KV 缓存内存成本，在 2 比特量化下实现低困惑度。该方法通过折叠值变换至模型权重，并结合截断量化器，有效减少量化误差。
解决 KV 缓存瓶颈
与键值（KV）缓存相关的内存和带宽成本随着上下文长度和批处理大小的增长而显著增加。这种扩展行为造成了一个巨大的瓶颈，限制了大型语言模型中长上下文推理的效率。为了缓解这一问题，研究人员引入了 WUSH-KV，这是一种专为低比特 KV 缓存量化设计的方法。该方法旨在减少开销的同时保持模型准确性。
数据自适应变换
WUSH-KV 对 WUSH 框架进行了适配，该框架基于矩阵乘积中两个因子的二阶统计信息构建数据感知变换。这种变换的主要目标是减少量化误差。该方法利用校准数据为键（key）和值（value）组件构建独立的变换。该架构的一个关键创新在于，值变换直接折叠到模型权重中。相比之下，键变换在旋转位置编码（RoPE）操作之后应用。这些变换旨在与截断量化器协同工作。
性能与最优性
理论分析表明，在温和假设下，WUSH 变换对于特定的量化器（如 QuEST INT）是近最优的。实证评估表明，与其他方法相比，WUSH-KV 降低了逐层重建误差。此外，它在所有测试的变换中实现了最低的端到端困惑度。这表明，尽管采用了激进的量化策略，数据自适应方法仍能有效保持模型性能。
集成与评估
为了进行实际的端到端评估，WUSH-KV 被集成到 SGLang 中。该集成使用了类似 OSCAR 的百分位截断仿射量化。在 2 比特量化下的结果显示，WUSH-KV 的表现与 OSCAR 变换相当或优于 OSCAR 变换。这种优势在所有评估的模型和下游任务中均成立。研究结果表明，WUSH-KV 为在长上下文场景中管理内存约束提供了一种稳健的解决方案，且不会牺牲生成输出的质量。
实务笔记
开发人员应考虑将 WUSH-KV 集成到其 SGLang 部署中，以优化长上下文推理的内存使用。监控逐层重建误差和端到端困惑度将有助于验证 2 比特量化是否能为您的特定下游任务保持可接受的模型准确性。