WUSH-KV：用於低比特 KV 快取量化之資料自適應變換
為什麼值得讀 透過創新量化技術減少記憶體頻寬瓶頸，優化長上下文推論。
WUSH-KV 利用資料自適應變換降低 KV 快取記憶體成本，在 2-bit 量化下實現低困惑度。
標籤 · #quantization
新方法讓壓縮後的 4 位模型擊敗全精度版本
為什麼值得讀 開發者應關注此方法，因為它能恢復在壓縮和量化過程中通常會丟失的功能。
一種新的修復技術使壓縮後的 4 位模型在七項基準測試中勝過其全精度原始版，恢復了量化過程中通常會喪失的能力。