엔진이 따라온 자리

알고리즘이 나온 뒤 엔진이 따라왔다. EAGLE-3와 DSpark가 production 체크포인트로 공개되자, vLLM과 SGLang은 각각 adaptive verification과 EAGLE-3 기본 권장으로 구현했다. Neo-cloud들은 default drafter, 런타임 학습, 또는 router로 productize했다.

지금 상태

이번 달 (2026-08) 대화는 DSpark와 DFlash2가 operator 손에 들어간 뒤 speedup이 실제 하드웨어, acceptance, long context에서 살아남는가 하는 것이다. vLLM의 adaptive verification (PR #47808, 머지 2026-08-12)은 DeepSeek-V4-Flash-DSpark TP=4 B300에서 fixed-k 대비 c≤64일 때 ±3% 이내, c=256에서 fixed 7-token이 no-spec 대비 33% 아래로 가라앉을 때 spec-decode win을 보존한다고 보고했다. Production-shaped path는 이미 profiling 버그를 갖고 있다 (#54046, PR ~2026-08-27)—shipped의 솔직한 texture다.

Operator 경험은 갈렸다. r/LocalLLaMA 2026-08-08: DSpark draft on llama-server로 V4-Flash 1–2 t/s vs MTP 30–40 t/s 기대치; u/notdba는 0731 DSpark draft가 preview MTP draft보다 훨씬 크고 swapping to/from disk이 likely라고 지적. r/LocalLLaMA 2026-08-14 mlx-dspark Apple Silicon ~3× 포스트의 top comment (u/McFlurriez): 20k context에서 무슨 일이 일어나는지 절대 말하지 않는 marketing multiplier에 지쳤다. Parallel-drafting은 여전히 움직인다—DFlash2가 llama.cpp PR bench (2026-08-22)로 이번 달에 나타났다.

Hosted provider (Fireworks, Together, OpenRouter)의 shipping claim은 문서에 산다—이번 창에서 Reddit/HN에는 거의 나타나지 않았다.

엔진

vLLM

DSpark의 confidence-scheduled verification을 첫 구현한 곳이다. PR #47808에서 enable_adaptive_verification 플래그가 추가되었고, 2026-08-14 블로그에 공개되었다. Confidence head가 7-토큰 블록 각 위치의 survival 확률을 추정하면, 스케줄러가 엔진 부하에 맞춰 검증할 예산을 동적으로 결정한다. 첫 토큰은 70% 이상 살아남지만 마지막 토큰은 10% 미만—고정된 k개 검증 대신 상위 B개 prefix만 검증해서 동시성 256까지 이득을 유지한다고 보고했다.

DSpark drafting은 v0.25.0 (PR #46995, 2026-07-01 머지)부터 포함되었다. ROCm은 0.26.0부터. DeepSeek-V4 공식 0731/0813 체크포인트는 method: dspark로 실행한다 (레시피). Adaptive verification은 현재 DSpark에만 적용된다.

EAGLE-3는 2026-05-26 블로그에서 EAGLE 3.1로 확장되었다. EAGLE 팀 + TorchSpec 협업. Attention drift 해결, FC normalization을 각 target hidden state 뒤에 추가, post-norm hidden states를 다음 step으로 전달. Long-context에서 EAGLE 3 대비 최대 2배 더 긴 acceptance length. method: eagle3로 nightly와 예정된 v0.22.0에 포함. Kimi K2.6 + EAGLE 3.1 draft를 nvidia/Kimi-K2.6-NVFP4로 GB200 TP=4 non-disagg SPEED-Bench coding 벤치마크: 동시성 1에서 2.03× per-user output throughput, C=4에서 1.71×, C=16에서 1.66×.

2026-07-28 블로그에서 P-EAGLE, DFlash, DSpark를 parallel drafting으로 묶었다 (Speculators 협업). P-EAGLE는 "parallel_drafting": true로 v0.16.0부터 활성화 (PR #32887). 2026-03-13 블로그는 B200 Speed-bench에서 vanilla EAGLE-3 대비 최대 1.69× (C=1), 1.25× (C=64)를 주장했다.

최신 common methods: eagle, eagle3, mtp, draft_model, ngram, suffix, dflash, dspark. Medusa는 최신 목록에 없다 (v0.11.0 API에 있었음). 공식 문서는 method: eagle와 method: eagle3 예시로 draft 모델 첨부를 보여준다 (yuhuili/EAGLE-LLaMA3-Instruct-8B, RedHatAI/Llama-3.1-8B-Instruct-speculator.eagle3). MTP 문서는 native MTP를 지원하는 family용 (Gemma 4 assistant 체크포인트 예시). Training companion은 Speculators.

SGLang

LMSYS 블로그 2026-07-06에서 DSpark integration을 발표했다 (PR sgl-project/sglang#30261). Dense와 sparse (Qwen3, DeepSeek-V4) 지원. Cookbook: --speculative-algorithm DSPARK. V4 공식 체크포인트는 bundled이므로 --speculative-draft-model-path 불필요. Optional --speculative-dspark-block-size N. 0731/0813 기본 startup log: gamma=5, verify_num_draft_tokens=6. DSpark-bundled 체크포인트에 EAGLE 쓰면 서버는 시작하지만 accept len: 1.00, accept rate: 0.00이 뜬다.

블로그가 발표한 숫자 하나: DeepSeek-V4-Pro TP=8 B300, batch size 1에서 383.7 tok/s, accept length ~5. 블로그는 논문 수치를 digit까지 재현하지는 않는다고 밝혔다. Cookbook 제약: CUDA, pp_size == 1, DP Attention disabled, 현 SGLang release에서 PD disaggregation 미지원. (LMSYS 블로그는 DP-attention DSpark 런치를 보여주는데 cookbook과 충돌—두 소스 모두 언급할 가치는 있다.)

EAGLE-3가 기본 권장이다. 공식 문서: 알고리즘 목록에 EAGLE (EAGLE-2), EAGLE3 (권장), MTP, DFLASH, STANDALONE, NGRAM, NEXTN (EAGLE alias). DFLASH는 linear block verification, tree 아님 (예시: z-lab/LLaMA3.1-8B-Instruct-DFlash-UltraChat). MTP 예시: XiaomiMiMo/MiMo-7B-RL with --speculative-algorithm EAGLE. SpecForge (LMSYS 2025-07-25)가 EAGLE-3 draft를 학습시킨다.

문서 페이지에 실린 표 (EAGLE-3 논문 Table 4): LLaMA-Instruct 3.1 8B MT-bench 1x H100 SGLang v0.4.4. No spec 158.34 tok/s → +EAGLE-2 244.10 tok/s → +EAGLE-3 373.25 tok/s. EAGLE-3 first ship: PR #4247 머지 2025-03-18, v0.4.5 “first to support EAGLE3”. 원래 Flash/Pro 레시피는 EAGLE를 MTP로 썼다; high-throughput 레시피는 MTP disabled—saturation에서 verify step이 절약보다 비용이 더 크다 (DSpark 논문의 static MTP-3/5 vs adaptive와 같은 production beat).

TensorRT-LLM

공식 문서 (2026-08-30 fetch)는 MTP (DeepSeek, Qwen3.8 MoE, Qwen3.5 MoE, Step-3.x), Eagle3 (Eagle3DecodingConfig, optional dynamic tree, sliding-window/MLA 예외로 DeepSeek/gpt-oss 제외), NGram, DraftTarget, PARD, DFlash, Suffix Automaton, user-provided drafter를 명시한다. DSPARK는 문서 페이지에 없지만, GitHub PR #15808 (머지 2026-07-18)이 DSparkDecodingConfig / decoding_type DSPARK를 추가했고, 후속 PR #16813이 YAML 예시로 deepseek-ai/dspark_qwen3_8b_block7을 문서화했다. 요약: code 머지됨, 공식 문서 페이지는 lag. Issue #16767: disaggregated serving에서 generation batch >1일 때 accept length 붕괴.

PyTorch backend serve YAML: decoding_type 옵션에 MTP, Eagle3, NGram, DraftTarget, PARD, DFlash, SA. PyTorch backend는 Eagle family 중 Eagle3만 지원 (Eagle alias는 Eagle3로 매핑; v1/v2 체크포인트 호환 안 됨). Medusa: Triton 튜토리얼은 MEDUSA가 modern LLM API / PyTorch backend에서 미지원 (legacy TRT engine 전용)이라고 명시. Global caveat: speculation을 동적으로 끄는 방법 없음, speedup은 low batch size에서만 관찰됨.

llama.cpp

공식 문서: --spec-type 옵션에 draft-simple, draft-eagle3 (SpecForge LlamaForCausalLMEagle3 및 vLLM/AngelSlim Eagle3LlamaForCausalLM), draft-dflash, draft-dspark (예시: dspark_qwen3_4b_block7, --spec-draft-n-max 7, --spec-draft-conf-min P로 confidence head 활성화—기본값 0=꺼짐; 현재 Qwen3 backbone만), draft-mtp, 여러 n-gram 타입. Medusa는 spec-type 목록에 없다. DSpark는 PR #25173. EAGLE-3는 PR #18039에서 first-class architecture로 추가 (NVIDIA + GGML 협업).

LMDeploy

Experimental. 문서에 eagle3와 deepseek_mtp만 명시. DFlash는 feature request (#4530), 문서화 안 됨.

Hugging Face TGI

문서: Medusa (medusa-enabled 모델 로드)와 n-gram (--speculate 2). EAGLE/MTP/DSpark 없음. README는 이제 사용자에게 vLLM/SGLang을 선호하라고 안내한다—TGI는 계보의 초기 레이어에 남아 있다.

DeepSpec

DeepSpec은 training/eval 레포지토리다 (MIT, 2026-06-26 생성). 알고리즘: DSpark, DFlash, Eagle3. Serving engine이 아니다—실제 서빙은 vLLM/SGLang/llama.cpp/(TRT-LLM PR)을 통한다.

프로바이더

GPU Neo-Clouds

Fireworks

공식 문서: Dedicated deployment는 지원되는 대부분 모델에 default drafter + draft-token count를 자동 상속. --disable-speculative-decoding로 A/B. Custom --draft-model + --draft-token-count (4부터 시작 권장). N-gram은 --ngram-speculation-length로. Request-level Predicted Outputs. Serverless 설정은 Fireworks가 관리한다.

Architecture-specific EAGLE, DFlash, DSpark, Medusa draft addon을 compatible로 명시 (contact to validate). Request flag perf_metrics_in_response가 speculation-generated-tokens와 speculation-acceptance를 반환. Fallback small drafter 예시: llama-v3p2-1b-instruct (Llama >3B용), qwen2p5-0p5b-instruct (Qwen >3B용).

FireOptimizer (Aug 2024): adaptive speculative execution을 customer traffic으로 학습. 그들이 발표한 specialized workload: generic drafter 29% hit rate (1.5× 느림) vs FireOptimizer 76% hit rate (2× 빠름); “up to 3x latency improvements”도 주장. Llama 4 Maverick 포스트는 customized speculative decoding via FireOptimizer를 명시. 3D FireOptimizer: EAGLE3 speculator를 FireOptimizer로 학습/서빙.

FireAttention V4 (custom kernel, FP4/B200): DeepSeek V3 on B200에서 그들의 setup으로 >250 tok/s, H200 SGLang 대비 3.5× throughput을 보고했는데, 그들은 speculation success가 매우 prompt-dependent하기 때문에 해당 벤치마크에서 MTP/speculation을 명시적으로 꺼 두었다. 그 3.5×는 spec-decode 숫자가 아니다.

Predicted Outputs / speculative edits (June 2024): Cursor Fast Apply Llama-3-70B on Fireworks가 해당 포스트에서 ~1000 tok/s로 보고됨. 메커니즘: long prediction prefix, greedy match, 그 후 normal generation.

Together AI

블로그 2025-10-10 (업데이트 2026-07-23): ATLAS (static Turbo speculator + lightweight adaptive speculator + confidence-aware controller). Together 자체 수치: DeepSeek-V3.1에서 최대 500 TPS, Kimi-K2에서 최대 460 TPS (fully adapted), standard decoding 대비 2.65×. Kimi는 shipped speculator 없이 ~150 TPS → 같은 hardware/batch에서 270+ TPS로 (그들이 하나 학습/배포 후). Figure 5: vanilla FP8 DeepSeek 105 TPS → ATLAS 501 TPS on NVIDIA HGX B200 batch-size 1 (B200 4장). RL: Qwen2.5-7B-Instruct-1M on DeepScaler, acceptance 10% 미만 → 1.4k step 후 80% 이상, 전체 훈련 시간 60% 이상 단축. Dedicated endpoint로 제공. 이것들은 벤더 수치다.

May 2025 customized speculative decoding 포스트: spec decoding이 serverless와 dedicated 모두를 최적화한다고 명시. Base Speculator가 세 R1 customer workload에서 next-token prediction 대비 ~1.44–2.27×; custom speculator가 그 base 대비 1.23–1.45× (~1.85–2.97× vs NTP). 그들은 high-throughput regime에서 1B 토큰 기준 base speculator 대비 ~23–26% GPU-hour 절약, no speculation 대비 49–61% 절약을 주장. 그들의 연구 라인 (Medusa → Sequoia → SpecExec → custom/ATLAS)이 productization으로 이어졌다. Medusa 블로그 (Together-sponsored 2023): extra heads, ~2× generation efficiency—연구지, “모든 serverless 모델이 Medusa를 쓴다”는 아님.

FriendliAI

Dedicated Endpoints 문서: proprietary draft model (curated target용)과 n-gram (기본 max size 3). May 19 2026 블로그: Gemma-4-31b-it, Kimi-K2.6, Qwen3.6-27B, DeepSeek-V3.2, MiniMax-M2.5, GLM-5, GLM-5.1용 drafter를 학습/페어링. OpenRouter 프로바이더 목록에 명시됨.

Parasail

Apr 28 2026: allenai/Olmo-3.1-32B-Think용 EAGLE-3 head를 SpecForge로 학습, SGLang에서 서빙. 그들의 수치: ~2.6× individual throughput (~48 → ~130 t/s), batch 4에서 ~2.1× aggregate on 1×B200; TTFT 변화 없음. SGLang V1 path는 batch 7 근처에서 baseline에 졌지만, SGLANG_ENABLE_SPEC_V2=True (topk=1)는 그들이 plot한 모든 batch size에서 baseline을 이김.

Nebius Token Factory

June 2026 custom speculator training: Eagle 3와 Nebius-optimized Eagle 3를 Dedicated Endpoint에서. 문서: eagle3 (Token Factory only) vs eagle3_original (portable vLLM). SlimSpec: EAGLE-3 실험에서 full unembedding 대비 LM-head cost 4–5× 절감을 보고.

DeepInfra

Feb 12 2026 Blackwell 포스트: TensorRT-LLM including speculative decoding; “DeepInfra leverages Multi-Token Prediction (MTP) and Eagle speculative decoding to accelerate generation” on supported models. Acceptance rate 없음. Thin.

Non-GPU Accelerators

Cerebras

Primary 속도는 wafer-scale SRAM이다. Oct 24 2024 소프트웨어 릴리스: speculative decoding 구현 (small+large in tandem). Llama 3.1-70B에서 2,100 tok/s (prior Cerebras release 대비 3×); 이 기능 때문에 출력 속도가 평균 기준 ±20% vary할 수 있다고 경고. EAGLE/MTP/DSpark를 명명하지 않음.

May 19 2026 Kimi K2.6 enterprise: custom kernel + speculative decoding 조합으로 trillion-param MoE를 close to 1,000 tok/s로 서빙 가능하다고 주장 (그들이 인용: AA 981 tok/s on private Cerebras endpoint, May 6 2026).

SambaNova

SambaStack 문서: deployable draft/target; lossless; 예시 Llama-3.3-70B target + Llama-3.1-8B draft. API가 target을 호출하면 draft는 자동 실행. Poorly aligned draft는 오히려 해칠 수 있음.

Model bundling: Llama-3.3-70B + Llama-3.2-1B를 speculative decoding용으로 bundled. MLSys 2026 Dataflow Is All You Need: “speedup of more than 6× when using popular speculative decoding techniques”; “speculative decoding is 1.7× faster on 16 SN40 chips than on a DGX H100 despite both systems having comparable HBM bandwidth.” 그들이 평가한 techniques와 model들이 cloud.sambanova.ai에 배포되었다고 명시. EAGLE/MTP로 브랜드하지 않음—classic draft/target on RDU.

Groq

GroqCloud 속도는 LPU/SRAM이다—GPU draft-verify와 다른 축. Groq가 EAGLE/DSpark를 API로 제공한다고 문서화하지 마라. NVIDIA의 2026 Groq 3 LPX + Vera Rubin 블로그가 “external-drafter speculative decoding”을 pairing config로 언급하는데, 이것은 NVIDIA 하드웨어 블로그지 GroqCloud API 체인지로그가 아니다.

Router

OpenRouter

OpenRouter는 80+ 프로바이더 위의 router다. 프로바이더 가이드에서 벤더들이 선언하도록 요청하는 feature: tools, json_mode, structured_outputs, logprobs, web_search, reasoning— speculative decoding / EAGLE / MTP는 아니다. 그들은 model 페이지에서 TTFT와 throughput을 추적한다.

Speed routing (provider.sort: throughput, :nitro)는 측정된 tokens/s로 정렬한다. Percentile floor는 rolling 5-minute window를 쓴다. 이 어느 것도 endpoint가 왜 빠른지 문서화하지 않는다.

Opt-in openrouter_metadata와 GET /api/v1/generation은 provider name, latency, tokens, cost, routing attempts를 노출— draft length, acceptance, EAGLE/MTP/DSpark는 아니다. 그들은 prediction field를 pass-through한다 (OpenAI Predicted Outputs 스타일). Request-level hint이지, OpenRouter가 speculation을 실행하는 게 아니다.

Fireworks와 Together가 OpenRouter listing에 있다. Production DSpark의 sourced claim은 DSpark 논문 자체의 DeepSeek 서빙이다; neo-cloud들이 DSpark module을 attach하는지 여부는 provider-by-provider이다.

Orchestrator

NVIDIA NIM

NIM (vLLM backend)은 공식 문서에서 preference MTP → EAGLE3 → n-gram을 명시한다. Dynamo는 vLLM/TRT-LLM spec config를 pass-through하는 orchestrator—새 알고리즘이 아니다.