2026-10-27 — views
dSpark 框架通过调度蒸馏加速扩散语言模型
为什么值得读 dSpark 为扩散大语言模型中更快的并行生成提供了一条实用路径，在速度与质量之间取得平衡，适用于实际部署。
研究人员推出 dSpark，这是一种调度蒸馏方法，通过学习最优的令牌去掩码顺序来加速扩散语言模型，从而在保持质量的同时实现更快的并行生成。
概述
扩散大语言模型（dLLMs）具备并行生成多个令牌的优势，但由于需要大量解码轮次，其推理速度往往较慢。一个名为 dSpark 的新框架通过不仅关注哪些令牌易于预测，还关注提交这些令牌如何影响剩余位置的可预测性，从而解决了这一瓶颈。核心洞察在于，揭示一个可预测性较低的令牌有时能提供更有用的上下文，使其他位置更早变得易于预测，从而降低解码过程中的整体不确定性。
方法论
dSpark 框架采用调度蒸馏方法来学习何时提交令牌以实现更快的生成。该过程首先构建去掩码调度，优先揭示那些能显著降低其他位置不确定性的令牌。然后将这些优化后的调度蒸馏到模型本身中，从而实现更快的并行采样。为了确保加速不会损害生成文本的质量，该方法在蒸馏过程中引入了 KL 散度正则化器。
性能结果
在数学推理和代码生成任务上进行了广泛评估，以验证 dSpark 的有效性。在 GSM8K 基准测试中，与各种基线相比，该方法实现了显著的速度提升。具体而言，它在 LLaDA-8B-Instruct 上实现了 10.12 倍的加速，在 Dream-7B-Instruct 上实现了 5.12 倍的加速。至关重要的是，这些性能提升是在保持卓越任务表现的同时实现的，表明效率改进并未以牺牲准确性为代价。
实务笔记
使用扩散大语言模型的开发者应考虑集成调度蒸馏技术以优化并行解码策略。监控解码速度与生成质量之间的权衡，确保正确调整 KL 散度正则化器以保持输出保真度。