태그 · #kv-cache

BeNice! KV 공유를 통해 루핑 모델의 추론-메모리 격차 해소

읽어야 하는 이유 이 방법은 키-값 캐시를 재사용하여 제한된 하드웨어에서 더 긴 컨텍스트와 높은 처리량을 가능하게 함으로써, 루핑 아키텍처의 치명적인 메모리 병목 현상을 해결합니다.

연구진은 KV 캐시 공유를 가능하게 하는 BeNice!를 제안하여, 품질 저하 없이 메모리 사용량을 줄이고 추론 처리량을 향상시켰습니다.

24 OCT 3 分鐘 실전 노트 llm inference memory optimization

Flash-dLLM: 빠른 메모리 효율적 확산 LLM을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

읽어야 하는 이유 확산 기반 언어 모델을 다루는 연구자 및 엔지니어는 이 학습 없는 가속 프레임워크를 채택하여 추론 지연 시간과 메모리 오버헤드를 크게 줄일 수 있습니다.

Flash-dLLM은 보조 모델 없이 확산 LLM을 가속화하기 위해 I/O 인식 융합 KV-캐시 커널과 병렬 디코딩 전략을 도입합니다.

23 SEP 2 分鐘 실전 노트 llm diffusion gpu optimization

Nvidia·AMD·CoreWeave가 함께 Tensormesh에 투자 —— KV 캐시 재사용이 추론 원시 요소로

읽어야 하는 이유 세 라이벌 —— Nvidia·AMD·CoreWeave —— 가 함께 투자하는 것이 신호다: KV 캐시 재사용(이미 계산한 걸 재계산하지 않기)이 승자독식 제품이 아니라 기반적·중립적 추론 스택 계층으로 다뤄지고 있다. 추론 시대의 경제학이 한 라운드에 응축.

Tensormesh가 Nvidia·AMD·CoreWeave로부터 2000만 달러 조달(5/27), Tensormesh Inference 출시 —— 제품화된 KV 캐시 재사용으로 지연·GPU 비용 최대 10배 절감 주장.

28 MAY 3 分鐘 실전 노트 tensormesh inference kv-cache nvidia