WUSH-KV：用于低比特 KV 缓存量化的数据自适应变换
为什么值得读 通过新颖的量化技术减少内存带宽瓶颈，优化长上下文推理。
WUSH-KV 利用数据自适应变换降低 KV 缓存内存成本，在 2 比特量化下实现低困惑度。该方法通过折叠值变换至模型权重，并结合截断量化器，有效减少量化误差。
标签 · #quantization
新方法使压缩的4位模型超越全精度版本
为什么值得读 开发者应关注此方法，因为它能恢复通常在压缩和量化过程中丢失的能力。
一种新的修复技术使压缩后的4位模型在七个基准测试中超越了其全精度原版，恢复了通常因压缩和量化而丢失的能力。