標籤 · #inference

BeNice！透過 KV 共享閉合循環模型的推理記憶體缺口

為什麼值得讀此方法解決了循環架構中的關鍵記憶體瓶頸，透過重用鍵值快取，允許在受限硬體上處理更長的上下文並提高吞吐量。

研究人員提出 BeNice！方法，使循環模型能夠共享 KV 快取，在無損品質的前提下降低記憶體使用量並提升推理吞吐量。

為什麼值得讀透過創新量化技術減少記憶體頻寬瓶頸，優化長上下文推論。

WUSH-KV 利用資料自適應變換降低 KV 快取記憶體成本，在 2-bit 量化下實現低困惑度。

為什麼值得讀使用基於擴散式語言模型的研發人員與工程師，可透過採用此無需訓練的加速框架，大幅降低推論延遲與記憶體開銷。

Flash-dLLM 引入 I/O 感知融合 KV 快取核心與平行解碼策略，在不依賴輔助模型的情況下加速擴散式大型語言模型。

為什麼值得讀三家對手——Nvidia、AMD、CoreWeave——同時投資就是訊號：KV 快取重用（別重算已算過的）正被視為基礎、中立的推論堆疊層，而非贏者全拿的產品。推論時代的經濟學，濃縮於一輪募資。

Tensormesh 獲 Nvidia、AMD、CoreWeave 投資 2000 萬美元（5/27），並推出 Tensormesh Inference——產品化的 KV 快取重用，宣稱延遲與 GPU 成本最高降 10 倍。

為什麼值得讀賭注不是某個模型，而是凌駕所有模型之上的那一層。OpenRouter 賣的是選擇權：路由到最佳／最便宜的模型，不鎖定任何一家。看股東名單就懂——輝達加上 Snowflake、Databricks、MongoDB、ServiceNow 都想在路由層佔一席。

OpenRouter 完成由 CapitalG 領投的 1.13 億美元 B 輪（5/26），估值約 13 億；每月為 800 萬以上用戶在 400+ 模型間路由 100 兆 token——輝達與四家數據平台加入。

為什麼值得讀重點是矽晶多元化，不是一次晶片勝利。Anthropic 已跑在 Nvidia GPU、Google TPU、AWS Trainium 上 —— 加上微軟 Maia 200，將成為首個橫跨四大訓練/推論矽晶家族的前沿實驗室。當算力是瓶頸時，選擇權就是護城河。

據 CNBC（5/21），Anthropic 正洽談透過 Azure 在微軟自研 Maia 200 晶片上跑 Claude 推論（尚未簽約）。這是在算力荒中、從 Nvidia + Google TPU 分散風險的避險。

為什麼值得讀 NVDA 是否真有挑戰者，這是第一次由公開市場給出答案——還是 Cerebras 對 OpenAI/AWS 的營收集中本來就該被打回原形。

CBRS 週五收 $279.72，較週四 $311.07 跌 10%。仍較 $185 IPO 價高 +51%；流通股 2.15 億，市值約 $600 億美元。

為什麼值得讀 IPO 漲幅不是護城河。真正的考驗是 +68% 能否撐過 6 個月鎖定期，以及有沒有人真的把 NVDA 推論換成 CBRS。

Cerebras 以 $185 定價，今日開盤 $350（+89%）、收盤 $311.07（+68%）。完全稀釋市值約 700 億美元，募資 $55.5 億美元，超額認購 20 倍。

Cerebras 將 IPO 區間從 $115–125 上調至 $125–135，超額認購 20 倍（$100 億訂單對 $35 億額度），估值將超過 $266 億。CBRS 5/13 定價。

四家中國實驗室在 12 天內相繼推出前沿等級編碼模型。GLM-5.1 以 MIT 授權在 SWE-Bench Pro 達 58.4%，與 Kimi K2.6 並列最高。API 成本比西方前沿模型低 5–25 倍。

Cloudflare 以 Rust 開發的 Infire 推論引擎採用分離式 Prefill/Decode 架構，在 H100 滿載下比 vLLM 0.10 高出 20% 吞吐量；伴隨推出的 Unweight 系統可無損壓縮模型權重 15–22%。

vLLM v0.20.0：752 commits、320 貢獻者。預設 CUDA 13.0、PyTorch 2.11、Transformers v5、Python 3.14、FlashAttention 4 預設、TurboQuant 2-bit KV cache 4 倍容量。