2026-09-23 — views
Flash-dLLM：具備 I/O 感知能力的 KV 快取與平行解碼，實現快速且記憶體高效的擴散式大型語言模型
為什麼值得讀 使用基於擴散式語言模型的研發人員與工程師，可透過採用此無需訓練的加速框架，大幅降低推論延遲與記憶體開銷。
Flash-dLLM 引入 I/O 感知融合 KV 快取核心與平行解碼策略，在不依賴輔助模型的情況下加速擴散式大型語言模型。
擴散式大型語言模型推論的挑戰
擴散式大型語言模型（dLLMs）近期作為自回歸大型語言模型的有潛力替代方案而嶄露頭角，其能夠實現非自回歸的文字生成。儘管潛力巨大，但其實際部署仍受限於低效的推論流程。這種低效主要源於缺乏有效的鍵值（KV）快取機制以及可擴展的平行解碼機制。現有的加速方法通常單獨研究 KV 快取和平行解碼，忽略了當快取重用和平行令牌驗證結合應用時所產生的 I/O 瓶頸。
介紹 Flash-dLLM
在本研究中，研究人員引入了 Flash-dLLM，這是一個專為快速且記憶體高效的 dLLMs 設計的無需訓練的推論加速框架。該框架首先識別出 GPU 記憶體 I/O 是啟用 KV 快取的 dLLM 推論中的主要瓶頸。為了解決這個問題，它採用了一個 I/O 感知的融合 KV 快取核心，以減少冗餘的記憶體移動。這項優化為後續的解碼策略奠定了基礎。
平行解碼策略
基於此優化的快取機制，Flash-dLLM 進一步提出了一種高效的 KV 快取驅動的草稿與驗證解碼策略。此設計的一個關鍵創新在於，dLLM 本身同時充當草稿生成器和驗證器，從而消除了對輔助模型的需求。這種統一設計在保持生成質量的同時實現了更快的解碼速度。此外，它提高了對更長序列和更大批次大小的可擴展性，解決了當前部署場景中的關鍵限制。
效能結果
在數學推理和程式碼生成基準測試上的廣泛實驗表明，Flash-dLLM 在推論速度和記憶體效率方面始終優於現有的最先進 dLLM 加速方法。該框架相比先前的基準實現了顯著的效能提升。特別是在 GSM8K 基準測試中，它相比先前最強的基準 Elastic-Cache 實現了 5.1 倍的加速。此外，它在 HumanEval 基準測試中達到了 11.0 倍的加速。這些結果突顯了解決 I/O 瓶頸並將快取與平行解碼整合到單一框架中的有效性。
實戰筆記
開發人員應考慮將 Flash-dLLM 整合到其推論管線中，以在不增加輔助模型的情況下減少 GPU 記憶體 I/O 瓶頸。這種無需訓練的方法允許在擴散式大型語言模型部署中立即獲得加速，特別是在涉及數學推理和程式碼生成的任務中。