WUSH-KV: 低ビットKVキャッシュ量子化のためのデータ適応変換
読む理由 新規量子化技術によりメモリ帯域幅のボトルネックを解消し、長文コンテキスト推論を最適化します。
WUSH-KVは、データ適応変換を用いてKVキャッシュのメモリコストを削減し、2ビット量子化でも低いパープレキシティを実現します。
タグ · #quantization
新手法により、圧縮された4ビットモデルがフルプレシジョン版を凌駕
読む理由 開発者は注意すべきです。この手法は、通常、圧縮および量子化の過程で失われる機能を回復します。
新しい修復技術により、圧縮された4ビットモデルが7つのベンチマークでフルプレシジョン元のモデルを上回る。構造圧縮時の能力喪失を回復し、実装前に適用できる。