WUSH-KV: 저비트 KV 캐시 양자화를 위한 데이터 적응형 변환
읽어야 하는 이유 새로운 양자화 기법을 통해 메모리 대역폭 병목 현상을 줄여 긴 컨텍스트 추론을 최적화합니다.
WUSH-KV는 데이터 적응형 변환을 사용하여 KV 캐시 메모리 비용을 줄이고, 2비트 양자화에서도 낮은 퍼플렉시티를 달성합니다.
태그 · #quantization
새로운 방법론으로 압축된 4비트 모델이 정밀 버전보다 성능을 앞당김
읽어야 하는 이유 개발자들은 이 방법이 양자화 및 압축 과정에서 일반적으로 손실되는 기능을 복구하기 때문에 관심을 가져야 합니다.
새로운 치유 기법으로 압축된 4비트 모델이 7 가지 벤치마크에서 정밀도 원본을 능가합니다. 구조적 압축 후 잃어버린 능력을 회복하여 배포 파이프라인의 치유 단계를 대체할 수 있습니다.