2026-10-24 — views
BeNice！透過 KV 共享閉合循環模型的推理記憶體缺口
為什麼值得讀 此方法解決了循環架構中的關鍵記憶體瓶頸，透過重用鍵值快取，允許在受限硬體上處理更長的上下文並提高吞吐量。
研究人員提出 BeNice！方法，使循環模型能夠共享 KV 快取，在無損品質的前提下降低記憶體使用量並提升推理吞吐量。
循環架構中的記憶體挑戰
循環架構提供了一種在保持參數數量固定的同時擴展模型品質的誘人方式。它們通過反覆將激活值通過同一層塊來實現這一點。然而，這種遞歸在推理期間會產生顯著的瓶頸。每次遞歸都會生成獨立的鍵值（KV）快取，導致記憶體使用量隨步驟數線性增長。為了解決這個問題，先前的工作探索了 KV 共享，這涉及跨深度共享 KV 快取。一些研究發現，最終遞歸的 KV 快取可以與早期遞歸共享而不會降低品質，這種特性被稱為 KV 可共享性。儘管有這種潛力，但 KV 可共享性背後的機制仍知之甚少。即使是經過相同訓練的循環架構也不一致地表現出這種特性，這使得難以依賴它來用於生產系統。
介紹 BeNice！
為了可靠地實現 KV 可共享性，研究人員提出了一種名為 BeNice！的新方法。這種方法由兩個不同的階段組成，旨在誘導並強制執行快取共享。在第一階段，預訓練期間使用隨機深度。這種技術誘導收縮殘差動力學，將表示驅動到跨遞歸的共同極限。這個基礎步驟為模型共享做好準備。第二階段是一種後訓練方法，它主動將最終遞歸的 KV 快取廣播到第一個遞歸。在此階段，模型被訓練以產生相容的殘差，同時保持原始模型的品質。結果是一個能夠實現 KV 可共享性且匹配標準微調方法未共享驗證困惑度的模型。
性能與兼容性
BeNice！證明了 KV 共享與其他記憶體高效技術是互補的。它與替代的 KV 壓縮方法有效組合，例如記憶體高效的序列混合器，如多潛注意力（multi-latent attention）和 Kimi delta 注意力。它也能很好地與低精度 KV 快取量化方法配合使用，包括 fp8、mxfp8 和 nvfp4。在模擬的低記憶體、長上下文推理場景中，益處是顯著的。KV 共享將快取命中率提高了高達 31.4%。吞吐量增加了高達 23.6%，p90 首個 token 時間減少了高達 83.6%。這些指標突顯了在資源受限環境中實現顯著效率提升的潛力。
實戰筆記
開發人員應在預訓練期間整合隨機深度，並應用 BeNice！後訓練廣播步驟以啟用 KV 快取共享。這種方法允許您在長上下文推理中顯著減少記憶體佔用和延遲，而不犧牲模型品質。