BeNice! KV 공유를 통해 루핑 모델의 추론-메모리 격차 해소
읽어야 하는 이유 이 방법은 키-값 캐시를 재사용하여 제한된 하드웨어에서 더 긴 컨텍스트와 높은 처리량을 가능하게 함으로써, 루핑 아키텍처의 치명적인 메모리 병목 현상을 해결합니다.
연구진은 KV 캐시 공유를 가능하게 하는 BeNice!를 제안하여, 품질 저하 없이 메모리 사용량을 줄이고 추론 처리량을 향상시켰습니다.
태그 · #memory
OpenVLHarness, 다중 모드 메모리 및 도구 활용으로 MLLM 성능 향상
읽어야 하는 이유 이 프레임워크는 모델을 외부 증거에 기반하여 고정시킴으로써 내부 추론만의 한계를 해결하며, 더 낮은 토큰 비용으로 상당한 성능 향상을 제공합니다.
OpenVLHarness는 지속적 메모리와 이종 도구 통합을 통해 다중 모드 모델 점수를 최대 12.6 포인트 향상시킵니다. 이는 22개 벤치마크에서 검증된 결과로, 외부 증거 기반 추론을 통해 내부 추론의 한계를 극복합니다.
WUSH-KV: 저비트 KV 캐시 양자화를 위한 데이터 적응형 변환
읽어야 하는 이유 새로운 양자화 기법을 통해 메모리 대역폭 병목 현상을 줄여 긴 컨텍스트 추론을 최적화합니다.
WUSH-KV는 데이터 적응형 변환을 사용하여 KV 캐시 메모리 비용을 줄이고, 2비트 양자화에서도 낮은 퍼플렉시티를 달성합니다.
LLM 에이전트의 작업 간 기술 이전: 하위 작업과 텍스트의 승리
읽어야 하는 이유 자율 에이전트를 개발하는 개발자는 메모리를 텍스트 형식의 하위 작업으로 구조화하여 신뢰성을 높일 수 있습니다. 제안된 유틸리티 점수는 효과적인 기술을 선별하기 위한 실행 전 진단 기능을 제공합니다.
연구에 따르면 하위 작업 수준의 유도 및 텍스트 형식이 코드 기반 방법보다 더 나은 성능을 보이는 LLM 에이전트의 신뢰할 수 있는 기술 이전을 가능하게 합니다.
NVIDIA, 메모리 업체에 2026년 4분기까지 16단 HBM4 요청 — AI 가속기 공급 기준을 끌어올리다
읽어야 하는 이유 AI 연산의 제약이 로직에서 메모리 적층으로 옮겨가고 있다. 16단 본딩을 먼저 해결하는 쪽이 이제 모든 최전선 GPU가 의존하는 길목을 쥐게 된다.
NVIDIA가 SK하이닉스, 삼성, 마이크론에 2026년 4분기까지 16단 HBM4 공급을 요청 — 가파른 적층 도약으로 첨단 패키징이 AI 공급망의 병목이 된다.
마이크론, 1조 달러 클럽 합류 — HBM이 더 이상 범용 상품이 아닐 때
읽어야 하는 이유 주목할 숫자는 "1조"가 아니라 "구조적"이라는 단어다. UBS의 204% 목표가 인상은 AI 메모리가 탈사이클화됐다는 논지에 기댄다: HBM4 매진, DRAM 58-63% 상승, 가격은 2029까지 고정. 메모리가 정말 사이클을 벗어났다면 반도체 정석 전체가 바뀐다.
마이크론이 5/26 처음으로 시총 1조 달러 돌파 — 역대 5번째 칩 기업 — UBS가 목표가를 $1,625로 3배 넘게 올리고 2026년 HBM4 생산능력이 장기계약으로 매진된 뒤.