2026-10-27 — views
dSpark 框架透過排程蒸餾加速擴散語言模型
為什麼值得讀 dSpark 為擴散 LLM 的更快平行生成提供了實用路徑，在速度與品質之間取得平衡，適用於實際部署。
研究人員推出 dSpark，一種排程蒸餾方法，透過學習最佳 token 解遮罩順序，加速擴散語言模型並提升生成效率。
概覽
擴散大型語言模型（dLLMs）提供平行生成多個 token 的優勢，但由於需要大量解碼輪次，常面臨推理緩慢的問題。名為 dSpark 的新框架透過關注的不僅是哪些 token 易於預測，更在於承諾這些 token 如何影響剩餘位置的可預測性，來解決此瓶頸。核心洞察在於，揭示一個較難預測的 token 有時能提供更有用的上下文，使其他位置更早變得易於預測，從而降低解碼過程中的整體不確定性。
方法論
dSpark 框架採用排程蒸餾方法，以學習何時承諾 token 以實現更快的生成。該過程始於構建優先考慮那些揭示後能顯著降低其他位置不確定性的 token 的解遮罩排程。這些最佳化的排程隨後被蒸餾至模型本身，從而實現更快的平行採樣。為了確保加速不會損害生成文本的品質，該方法在蒸餾過程中結合了 KL 散度正則化器。
效能結果
研究人員在數學推理和程式碼生成任務上進行了廣泛評估，以驗證 dSpark 的有效性。在 GSM8K 基準測試中，與各種基線方法相比，該方法實現了顯著的加速。具體而言，它在 LLaDA-8B-Instruct 上實現了 10.12 倍的加速，在 Dream-7B-Instruct 上實現了 5.12 倍的加速。至關重要的是，這些效能提升是在保持優異任務表現的情況下實現的，表明效率的提升並未以犧牲準確性為代價。
實戰筆記
使用擴散 LLM 的開發人員應考慮整合排程蒸餾技術，以最佳化平行解碼策略。監控解碼速度與生成品質之間的權衡，確保適當調整 KL 散度正則化器以保留輸出保真度。