2026-10-27 — views
dSpark 프레임워크, 스케줄 증류를 통해 확산 언어 모델의 속도 향상
읽어야 하는 이유 dSpark는 실제 배포 환경에서 속도와 품질의 균형을 맞추며 확산 LLM의 더 빠른 병렬 생성을 위한 실용적인 경로를 제공합니다.
연구진이 dSpark를 소개합니다. 이는 최적의 토큰 마스킹 해제 순서를 학습하여 확산 언어 모델의 추론 속도를 가속화하는 스케줄 증류 방법론입니다.
개요
확산 대규모 언어 모델(dLLM)은 여러 토큰을 병렬로 생성할 수 있다는 장점을 제공하지만, 수많은 디코딩 라운드가 필요하여 종종 추론 속도가 느려지는 문제가 있습니다. dSpark라는 새로운 프레임워크는 예측하기 쉬운 토큰이 무엇인지뿐만 아니라, 해당 토큰을 확정하는 것이 나머지 위치의 예측 가능성에 어떤 영향을 미치는지에 초점을 맞춤으로써 이 병목 현상을 해결합니다. 핵심 통찰력은 예측 가능성이 낮은 토큰을 공개하는 것이 때로는 더 유용한 컨텍스트를 제공하여 다른 위치의 예측을 더 빨리 쉽게 만들어 디코딩 중 전체 불확실성을 줄일 수 있다는 것입니다.
방법론
dSpark 프레임워크는 더 빠른 생성을 위해 토큰을 언제 확정할지 학습하기 위해 스케줄 증류 접근 방식을 사용합니다. 프로세스는 공개 시 다른 위치의 불확실성을 크게 줄이는 토큰을 우선시하는 마스킹 해제 스케줄을 구성하는 것부터 시작합니다. 이러한 최적화된 스케줄은 모델 자체에 증류되어 더 빠른 병렬 샘플링을 가능하게 합니다. 가속화가 생성된 텍스트의 품질을 저하시키지 않도록 하기 위해, 증류 과정에서 KL-발산 정규화 인자를 포함합니다.
성능 결과
dSpark의 effectiveness를 검증하기 위해 수학적 추론 및 코드 생성 작업을 통해 광범위한 평가가 수행되었습니다. GSM8K 벤치마크에서 이 방법은 다양한 기준선에 비해 상당한 속도 향상을 달성했습니다. 구체적으로 LLaDA-8B-Instruct에서 10.12배, Dream-7B-Instruct에서 5.12배의 속도 향상을 제공했습니다. 중요한 점은 이러한 성능 향상이 탁월한 작업 성능을 유지하면서 달성되었다는 것으로, 효율성 개선이 정확도 저하 없이 이루어졌음을 나타냅니다.
실무자 노트
확산 LLM을 개발하는 개발자는 병렬 디코딩 전략을 최적화하기 위해 스케줄 증류 기술을 통합하는 것을 고려해야 합니다. 디코딩 속도와 생성 품질 간의 트레이드오프를 모니터링하고, KL-발산 정규화 인자를 적절히 조정하여 출력 충실도를 보존하도록 하십시오.