标签 · #inference

BeNice!：通过KV共享填补循环架构的推理-记忆鸿沟

为什么值得读该方法解决了循环架构中的关键内存瓶颈，通过复用键值缓存，在受限硬件上支持更长的上下文和更高的吞吐量。

研究人员提出BeNice!方法，使循环模型能够共享KV缓存，在保持质量不变的前提下显著降低内存占用并提升推理吞吐量。该方法通过预训练阶段的随机深度和后训练阶段的广播机制，实现了KV缓存的可共享性，解决了循环架构中的关键内存瓶颈。

为什么值得读通过新颖的量化技术减少内存带宽瓶颈，优化长上下文推理。

WUSH-KV 利用数据自适应变换降低 KV 缓存内存成本，在 2 比特量化下实现低困惑度。该方法通过折叠值变换至模型权重，并结合截断量化器，有效减少量化误差。

为什么值得读使用基于扩散的语言模型的研究人员和工程师，通过采用此免训练加速框架，可显著降低推理延迟和内存开销。

Flash-dLLM引入I/O感知融合KV缓存内核与并行解码策略，无需辅助模型即可加速扩散语言模型。

为什么值得读三家对手——Nvidia、AMD、CoreWeave——同时投资就是信号：KV 缓存重用（别重算已算过的）正被视为基础、中立的推理堆栈层，而非赢者通吃的产品。推理时代的经济学，浓缩于一轮募资。

Tensormesh 获 Nvidia、AMD、CoreWeave 投资 2000 万美元（5/27），并推出 Tensormesh Inference——产品化的 KV 缓存重用，宣称延迟与 GPU 成本最高降 10 倍。

为什么值得读赌注不是某个模型，而是凌驾所有模型之上的那一层。OpenRouter 卖的是选择权：路由到最佳／最便宜的模型，不锁定任何一家。看股东名单就懂——英伟达加上 Snowflake、Databricks、MongoDB、ServiceNow 都想在路由层占一席。

OpenRouter 完成由 CapitalG 领投的 1.13 亿美元 B 轮（5/26），估值约 13 亿；每月为 800 万以上用户在 400+ 模型间路由 100 万亿 token——英伟达与四家数据平台加入。

为什么值得读重点是芯片多元化，不是一次芯片胜利。Anthropic 已跑在 Nvidia GPU、Google TPU、AWS Trainium 上 —— 加上微软 Maia 200，将成为首个横跨四大训练/推理芯片家族的前沿实验室。当算力是瓶颈时，选择权就是护城河。

据 CNBC（5/21），Anthropic 正洽谈通过 Azure 在微软自研 Maia 200 芯片上跑 Claude 推理（尚未签约）。这是在算力荒中、从 Nvidia + Google TPU 分散风险的对冲。

为什么值得读 NVDA 是否真有挑战者，这是第一次由公开市场给出答案——还是 Cerebras 对 OpenAI/AWS 的营收集中本来就该被打回原形。

CBRS 周五收 $279.72，较周四 $311.07 跌 10%。仍较 $185 IPO 价高 +51%；流通股 2.15 亿，市值约 $600 亿美元。

为什么值得读 IPO 涨幅不是护城河。真正的考验是 +68% 能否撑过 6 个月锁定期，以及有没有人真的把 NVDA 推论换成 CBRS。

Cerebras 以 $185 定价，今日开盘 $350（+89%）、收盘 $311.07（+68%）。完全稀释市值约 700 亿美元，募资 $55.5 亿美元，超额认购 20 倍。

Cerebras 上调 IPO 区间至 $125–$135，35 亿美元发行获约 100 亿美元订单。隐含估值轻松超 266 亿美元；CBRS 5 月 13 日定价。

中国 4 个实验室在 12 天内发布前沿级编码模型。GLM-5.1（MIT 许可证）在 SWE-Bench Pro 上以 58.4% 与 Kimi K2.6 持平。成本差距为西方 API 的 5-25 倍。

Cloudflare 以 Rust 开发的 Infire 推理引擎采用分离式 Prefill/Decode 架构，在 H100 满载下比 vLLM 0.10 高出 20% 吞吐量；伴随推出的 Unweight 可无损压缩模型权重 15–22%。

vLLM v0.20.0：752 commits、320 贡献者。默认 CUDA 13.0、PyTorch 2.11、Transformers v5、Python 3.14、FlashAttention 4 默认、TurboQuant 2-bit KV cache 4 倍容量。