Multi-Token Prediction

핵심 아이디어

지금까지의 방식들은 모두 추론 시점에 draft와 verify를 조합하는 것이었다. Multi-Token Prediction (MTP)은 학습 단계부터 모델이 여러 토큰을 동시에 예측하도록 만든다.

각 위치에서 “다음 토큰”뿐 아니라 “그 다음 n개 토큰”까지 예측하는 auxiliary head들을 추가하고, 학습 시 모두 함께 최적화한다.

메커니즘

1. 학습 시: 각 위치에서 t+1, t+2, …, t+n 토큰을 모두 예측하는 loss 추가
2. 추론 시: 한 step에서 여러 토큰을 동시에 생성
3. Self-verification 내장

Meta가 먼저 연구했고 (Gloeckle et al., arXiv 2404.19737), DeepSeek-V3가 제품화했다.

DeepSeek-V3 구현

DeepSeek-V3 Technical Report (arXiv 2412.19437)에서 MTP를 도입했다. 보고서에 따르면 디코딩 속도가 약 1.8배 향상되었다.

학습 때부터 multi-token을 보기 때문에, 추론 때 쓰는 draft가 체크포인트 안에 들어 있다. 계보의 끝은 아니고, 제안자가 모델 안으로 들어온 지점이다.

참고

• Meta 논문: arXiv 2404.19737 (Gloeckle et al.)
• DeepSeek-V3 Technical Report: arXiv 2412.19437