2026-10-27 — views
dSparkフレームワーク：スケジュール蒸留により拡散言語モデルを高速化
読む理由 dSparkは、拡散LLMにおける高速な並列生成への実践的な道を提供し、実世界での展開において速度と品質のバランスを取ります。
研究者はdSparkを導入し、トークンのマスク解除順序を学習することで拡散言語モデルを加速するスケジュール蒸留手法を提案しました。
概要
拡散大規模言語モデル（dLLM）は、複数のトークンを並列で生成できるという利点がありますが、多くのデコードラウンドが必要なため、推論が遅くなることがよくあります。dSparkという新しいフレームワークは、予測しやすいトークンだけでなく、それらを確定させることが残りの位置の予測可能性にどのように影響するかという点に注目することで、このボトルネックに対処します。中核となる洞察は、予測しにくいトークンを明らかにすることが、場合によってはより有用なコンテキストを提供し、他の位置をより早く予測しやすくすることで、デコード中の全体的な不確実性を低減するというものです。
手法
dSparkフレームワークは、より高速な生成のためにいつトークンを確定させるかを学習するために、スケジュール蒸留アプローチを採用しています。プロセスは、他の位置の不確実性を大幅に低減するトークンを優先するマスク解除スケジュールを構築することから始まります。これらの最適化されたスケジュールは、モデル自体に蒸留され、より高速な並列サンプリングを可能にします。加速が生成テキストの品質を損なわないようにするために、この手法では蒸留プロセス中にKLダイバージェンス正則化器を組み込んでいます。
性能結果
dSparkの有効性を検証するために、数学的推論およびコード生成タスクにわたる広範な評価が行われました。GSM8Kベンチマークでは、この手法はさまざまなベースラインと比較して大幅な高速化を達成しました。具体的には、LLaDA-8B-Instructで10.12倍、Dream-7B-Instructで5.12倍の高速化を提供しました。重要なことに、これらの性能向上は優れたタスク性能を維持しながら達成されており、効率の向上が精度を犠牲にしていないことを示しています。
実装ノート
拡散LLMを開発している開発者は、並列デコード戦略を最適化するためにスケジュール蒸留技術の統合を検討すべきです。デコード速度と生成品質のトレードオフを監視し、KLダイバージェンス正則化器が出力の忠実性を保持するために適切に調整されていることを確認してください。