标签 · #memory

BeNice!：通过KV共享填补循环架构的推理-记忆鸿沟

为什么值得读该方法解决了循环架构中的关键内存瓶颈，通过复用键值缓存，在受限硬件上支持更长的上下文和更高的吞吐量。

研究人员提出BeNice!方法，使循环模型能够共享KV缓存，在保持质量不变的前提下显著降低内存占用并提升推理吞吐量。该方法通过预训练阶段的随机深度和后训练阶段的广播机制，实现了KV缓存的可共享性，解决了循环架构中的关键内存瓶颈。

为什么值得读该框架通过将模型锚定于外部证据，解决了仅依赖内部推理的局限性，以更低 Token 成本带来显著性能提升。

OpenVLHarness 利用持久化记忆和异构工具集成，将多模态模型得分最高提升 12.6 分。

为什么值得读通过新颖的量化技术减少内存带宽瓶颈，优化长上下文推理。

WUSH-KV 利用数据自适应变换降低 KV 缓存内存成本，在 2 比特量化下实现低困惑度。该方法通过折叠值变换至模型权重，并结合截断量化器，有效减少量化误差。

为什么值得读构建自主智能体的开发者可以通过将记忆结构化为文本形式的子任务来提高可靠性。所提出的效用分数提供了一种执行前的诊断手段，用于筛选有效技能。

研究发现，基于子任务的归纳和文本格式能使大语言模型智能体实现可靠的技能迁移，其效果优于基于任务和代码的方法。

为什么值得读 AI 算力的限制正从逻辑芯片移向存储堆叠。谁先攻克 16 层键合，谁就掌握了如今每一颗前沿 GPU 都依赖的咽喉要道。

NVIDIA 已要求 SK 海力士、三星与美光在 2026 年第四季度交付 16 层堆叠 HBM4——这一陡升的堆叠跳跃，使先进封装成为 AI 供应链的瓶颈。

为什么值得读该盯的数字不是"万亿"，而是"结构性"三个字。UBS 上修 204% 的目标价，立基于 AI 内存已"去周期化"的论点：HBM4 售罄、DRAM 涨 58-63%、价格锁到 2029。若内存真的摆脱了周期，整套半导体剧本都要改写。

美光于 5/26 首度突破 1 万亿美元市值——史上第 5 家芯片商——在 UBS 将目标价三级跳至 $1,625、且 2026 年 HBM4 产能已被长约售罄之后。