BeNice! KV 공유를 통해 루핑 모델의 추론-메모리 격차 해소
읽어야 하는 이유 이 방법은 키-값 캐시를 재사용하여 제한된 하드웨어에서 더 긴 컨텍스트와 높은 처리량을 가능하게 함으로써, 루핑 아키텍처의 치명적인 메모리 병목 현상을 해결합니다.
연구진은 KV 캐시 공유를 가능하게 하는 BeNice!를 제안하여, 품질 저하 없이 메모리 사용량을 줄이고 추론 처리량을 향상시켰습니다.
태그 · #optimization
WUSH-KV: 저비트 KV 캐시 양자화를 위한 데이터 적응형 변환
읽어야 하는 이유 새로운 양자화 기법을 통해 메모리 대역폭 병목 현상을 줄여 긴 컨텍스트 추론을 최적화합니다.
WUSH-KV는 데이터 적응형 변환을 사용하여 KV 캐시 메모리 비용을 줄이고, 2비트 양자화에서도 낮은 퍼플렉시티를 달성합니다.
경량 개입 스티어링은 재학습 없이 언어 모델 출력을 최적화합니다
읽어야 하는 이유 개발자는 값비싼 파인튜닝이나 파라미터 업데이트 없이 모델 정렬과 보상 점수를 개선하여 원래 모델의 기능을 보존할 수 있습니다.
새로운 MISVO 방법은 로컬 KL 기하학을 활용하여 보상 최적화와 생성 품질의 균형을 맞추며, 프리존 언어 모델을 프리로그벡터를 통해 제어합니다.
Flash-dLLM: 빠른 메모리 효율적 확산 LLM을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩
읽어야 하는 이유 확산 기반 언어 모델을 다루는 연구자 및 엔지니어는 이 학습 없는 가속 프레임워크를 채택하여 추론 지연 시간과 메모리 오버헤드를 크게 줄일 수 있습니다.
Flash-dLLM은 보조 모델 없이 확산 LLM을 가속화하기 위해 I/O 인식 융합 KV-캐시 커널과 병렬 디코딩 전략을 도입합니다.
GPU-CFR: 80배 빠른 CFR을 위한 게임 트리 컴파일
읽어야 하는 이유 이 컴파일러 접근 방식은 커널 호출 오버헤드를 제거하여, 이전에는 CPU가 우세했던 대규모 게임에서도 GPU 기반 CFR을 가능하게 합니다.
GPU-CFR는 게임 트리를 정적 데이터플로우로 컴파일하여 기존 GPU 구현 대비 최대 80배 속도 향상을 달성하고 CPU 베이스라인을 압도합니다.