EAGLE

Li et al.·2024·arXiv:2401.15077

핵심 아이디어

EAGLE은 “Extrapolation Algorithm for Greater Language-model Efficiency”의 약자다.

Medusa는 토큰 레벨에서 여러 후보를 예측한다. EAGLE은 한 단계 더 깊이 들어가서, target 모델의 hidden state를 draft로 사용한다. Feature uncertainty를 다시 생각한 결과다.

메커니즘

  1. Target 모델의 마지막 hidden state를 가져옴
  2. 가벼운 auto-regressive 모델로 다음 hidden state들을 예측
  3. 예측한 hidden state를 LM head에 통과시켜 토큰으로 변환
  4. Target 모델로 검증

토큰이 아니라 feature 공간에서 예측하기 때문에, 더 정확한 후보를 만들 수 있다. Draft는 토큰을 생성하지 않고 “어떤 feature가 나올지”를 먼저 예측한다.

장점

  • Feature 레벨 예측이 토큰 레벨보다 정확
  • Draft 모델이 작아도 효과적
  • Accept rate가 더 높음

참고

  • 논문: EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
  • arXiv: 2401.15077
← 빠른 추론 허브로 돌아가기