태그 · #inference

BeNice! KV 공유를 통해 루핑 모델의 추론-메모리 격차 해소

읽어야 하는 이유 이 방법은 키-값 캐시를 재사용하여 제한된 하드웨어에서 더 긴 컨텍스트와 높은 처리량을 가능하게 함으로써, 루핑 아키텍처의 치명적인 메모리 병목 현상을 해결합니다.

연구진은 KV 캐시 공유를 가능하게 하는 BeNice!를 제안하여, 품질 저하 없이 메모리 사용량을 줄이고 추론 처리량을 향상시켰습니다.

24 OCT 3 分鐘 실전 노트 llm inference memory optimization

WUSH-KV: 저비트 KV 캐시 양자화를 위한 데이터 적응형 변환

읽어야 하는 이유 새로운 양자화 기법을 통해 메모리 대역폭 병목 현상을 줄여 긴 컨텍스트 추론을 최적화합니다.

WUSH-KV는 데이터 적응형 변환을 사용하여 KV 캐시 메모리 비용을 줄이고, 2비트 양자화에서도 낮은 퍼플렉시티를 달성합니다.

30 SEP 2 分鐘 실전 노트 quantization llm inference memory

Flash-dLLM: 빠른 메모리 효율적 확산 LLM을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

읽어야 하는 이유 확산 기반 언어 모델을 다루는 연구자 및 엔지니어는 이 학습 없는 가속 프레임워크를 채택하여 추론 지연 시간과 메모리 오버헤드를 크게 줄일 수 있습니다.

Flash-dLLM은 보조 모델 없이 확산 LLM을 가속화하기 위해 I/O 인식 융합 KV-캐시 커널과 병렬 디코딩 전략을 도입합니다.

23 SEP 2 分鐘 실전 노트 llm diffusion gpu optimization

Nvidia·AMD·CoreWeave가 함께 Tensormesh에 투자 —— KV 캐시 재사용이 추론 원시 요소로

읽어야 하는 이유 세 라이벌 —— Nvidia·AMD·CoreWeave —— 가 함께 투자하는 것이 신호다: KV 캐시 재사용(이미 계산한 걸 재계산하지 않기)이 승자독식 제품이 아니라 기반적·중립적 추론 스택 계층으로 다뤄지고 있다. 추론 시대의 경제학이 한 라운드에 응축.

Tensormesh가 Nvidia·AMD·CoreWeave로부터 2000만 달러 조달(5/27), Tensormesh Inference 출시 —— 제품화된 KV 캐시 재사용으로 지연·GPU 비용 최대 10배 절감 주장.

28 MAY 3 分鐘 실전 노트 tensormesh inference kv-cache nvidia

OpenRouter, 1.13억 달러 조달 — 모든 AI 모델 사이의 "교환대"를 차지하려는 베팅

읽어야 하는 이유 베팅은 모델이 아니라 그 모두 위에 선 계층이다. OpenRouter가 파는 것은 선택권: 최선·최저가 모델로 라우팅하되 어디에도 묶이지 않는다. 단서는 주주 명단 — 엔비디아에 Snowflake, Databricks, MongoDB, ServiceNow까지 라우팅 계층에 자리를 원한다.

OpenRouter가 CapitalG 주도 1.13억 달러 시리즈 B 단행(5/26), 기업가치 약 13억 달러. 월 100조 토큰을 400+ 모델 사이로 라우팅, 사용자 800만+ — 엔비디아와 4개 데이터 플랫폼도 참여.

27 MAY 3 分鐘 실전 노트 openrouter ai-agents model-routing funding

Anthropic, 마이크로소프트 Maia 200 AI 칩 임대 협의 —— 컴퓨트 부족 헤지

읽어야 하는 이유 핵심은 칩 승리가 아니라 실리콘 다변화다. Anthropic은 이미 Nvidia GPU·Google TPU·AWS Trainium에서 돌아가며, Maia 200을 더하면 4대 실리콘 계열 전부를 아우르는 첫 프런티어 랩이 된다. 컴퓨트가 병목일 때 선택지가 곧 해자다.

CNBC(5/21)에 따르면 Anthropic은 Azure를 통해 마이크로소프트 자체 Maia 200 칩에서 Claude 추론을 돌리는 협의 중(계약 미체결). Nvidia + Google TPU에서 분산하는 헤지다.

22 MAY 3 分鐘 실전 노트 anthropic microsoft maia-200 ai-chips

Cerebras 상장 2일차 10% 하락 — OpenAI 고객 집중 리스크 부상

읽어야 하는 이유 NVDA에 진짜 도전자가 있는지에 대한 공개시장의 첫 판결 — 아니면 Cerebras의 OpenAI/AWS 집중 리스크가 원래부터 그만큼 가격에 반영됐어야 했는지.

CBRS는 금요일 $279.72로 마감, 목요일 $311.07 대비 10% 하락. IPO 가격 $185 대비 여전히 +51%; 유통주식 2.15억, 시가총액 약 $600억.

15 MAY 2 分鐘 실전 노트 cerebras ai-chips ipo nvidia-alternatives

Cerebras CBRS, 시초가 $350·종가 +68% — 2026년 최대 테크 IPO 데뷔

읽어야 하는 이유 IPO 폭등은 해자가 아니다. 진짜 시험대는 +68%가 6개월 락업 이후에도 유지되는지, 그리고 실제로 NVDA 추론을 CBRS로 교체하는 고객이 있는지.

Cerebras는 $185로 공모가 확정, 오늘 $350(+89%)에 시작해 $311.07(+68%)으로 마감. 완전 희석 시가총액 약 700억 달러, 55.5억 달러 조달, 20배 초과 청약.

14 MAY 3 分鐘 실전 노트 cerebras ipo ai-hardware inference

Cerebras, IPO 가격 범위 $125~$135로 상향 — $35억 공모에 약 $100억 주문

Cerebras가 IPO 가격 범위를 $125~$135로 상향. $35억 공모 대비 주문 약 $100억. 함의된 가치는 $266억 상회; CBRS는 5/13 가격 확정.

08 MAY 2 分鐘 실전 노트 cerebras ipo ai-hardware inference

DeepSeek V4·Kimi K2.6·GLM-5.1·MiniMax M2.7: 프론티어급 코딩 모델, 5~25배 낮은 비용

중국 4개 랩이 12일 만에 프론티어급 코딩 모델 출시. GLM-5.1(MIT)이 SWE-Bench Pro에서 Kimi K2.6과 58.4%로 동률. 비용 차이는 서방 API의 5~25분의 1.

07 MAY 2 分鐘 실전 노트 open-weights deepseek llm coding-models

Cloudflare Infire — 분리형 LLM 추론으로 vLLM 대비 20% 향상, Unweight 22% 무손실 압축

Cloudflare의 Rust 기반 Infire 엔진이 프리필/디코드 분리 아키텍처로 H100 풀로드 시 vLLM 0.10 대비 20% 높은 처리량 달성. Unweight는 15–22% 무손실 가중치 압축 실현.

04 MAY 1 分鐘 실전 노트 inference open-source nvidia release

vLLM v0.20.0: DeepSeek V4, PyTorch 2.11, FlashAttention 4

vLLM v0.20.0: 커밋 752개, 기여자 320명. CUDA 13.0 기본화, PyTorch 2.11, Transformers v5, Python 3.14, FlashAttention 4 기본화, TurboQuant 2-bit KV cache 4배 용량.

27 APR 1 分鐘 실전 노트 vllm inference open-source release