DSpark

핵심 아이디어

DSpark는 MTP 이후의 “진짜 draft”다.

MTP로 draft가 모델 안에 들어왔지만, 병목은 verification 낭비로 이동했다. DeepSeek-V4 서빙에서 이 병목을 해결하고 MTP-1을 production에서 교체한 것이 DSpark다.

두 가지 메커니즘

1. Semi-autoregressive draft

순수 병렬 draft는 suffix decay와 multimodal collision 문제가 있다.

• 병렬 backbone: DFlash (arXiv 2602.06036)를 인스턴스화
• 순차 head: 가벼운 Markov head가 기본. Block 내부 위치들이 서로 의존

2. Confidence-scheduled verification

엔진 부하에 따라 검증할 길이를 동적으로 조정한다.

• Confidence head: 각 위치의 prefix survival 확률 추정
• Hardware-aware scheduler: 엔진 부하를 보고 몇 개 토큰을 검증할지 결정
• 가벼운 부하일 때는 길게 검증, 높은 부하일 때는 가지치기

Reject될 토큰에 target batch를 쓰지 않는다.

Production 배포

DeepSeek-V4 서빙에 실 트래픽으로 배포되었다.

Baseline은 MTP-1 (기존 production 설정). 정적 MTP-3/5는 높은 동시성에서 throughput을 해쳤다.

같은 throughput에서:

• V4-Flash: 사용자당 생성 속도 60%–85% 더 빠름
• V4-Pro: 사용자당 생성 속도 57%–78% 더 빠름

논문은 661%/406% 높은 SLA 비율을 헤드라인으로 쓰지 않는다—그 지점들은 frontier가 새로 가능해졌다는 것을 보여줄 뿐, 잘 활용된 baseline 대비 대표적인 곱셈 speedup이 아니라고 스스로 밝힌다.

Lossless: Target과 같은 분포.

Production 구현

DSpark의 confidence-scheduled verification이 vLLM에 실제로 구현되었다. PR #47808에서 enable_adaptive_verification 플래그로 추가되었고, 2026-08-14 vLLM 블로그에서 공개되었다.

Confidence head가 7-토큰 블록의 각 prefix survival 확률을 추정하고, 스케줄러가 엔진 부하에 맞춰 검증할 예산 B를 결정한다. 첫 토큰은 70% 이상 살아남지만 마지막 토큰은 10% 미만—고정된 k개 검증 대신 상위 B개 prefix만 검증해서 동시성 256까지 이득을 유지한다.

DeepSeek은 attached-module 체크포인트도 공개했다: DeepSeek-V4-Pro-DSpark, DeepSeek-V4-Flash-DSpark (같은 체크포인트 + speculative 모듈). DeepSpec 레포지토리에 구현이 있다.

참고

• 논문: DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
• arXiv: 2607.05147
• DFlash backbone: arXiv 2602.06036
• vLLM 구현: PR #47808, 블로그 2026-08-14