Lanes

빠른 추론

Speculative decoding에서 draft 모델까지

타임라인

• 2023-05: Speculative decoding 논문들 (Google, DeepMind)
• 2023-11: Medusa (다중 헤드 예측)
• 2024-02: EAGLE (auto-regressive draft)
• 2025-06: DeepSeek MTP (Multi-Token Prediction)
• 2026-: Draft 모델이 DSpark 수준으로

왜 중요한가

생성 속도는 inference cost와 직결된다. 한 번에 여러 토큰을 예측하고 검증하는 방식이 표준이 되어가고 있다.

현재 상태

주요 논문과 벤치마크 분석을 준비 중입니다.

하네스

모델과 하네스가 하나의 단위

타임라인

• 2024-: 초기 agent 프레임워크들 (LangChain, AutoGPT 등)
• 2026-08: DeepSeek Harness 출시, “everything is a plugin” 철학
• 2026-: JIT-Agent 개념 등장 (태스크마다 하네스를 생성)

메커니즘

DeepSeek Harness는 모델 자체가 아니라 모델을 감싸는 실행 환경이다:

• Plugin architecture: 루프, 툴, 메모리 모두 플러그인
• Minimal vs Max effort: 같은 모델이라도 하네스 설정에 따라 성능 차이
• Pro-0813 + Harness: DeepSWE 벤치마크에서 12.8 → 62.7

왜 중요한가

“어떤 모델?”이 아니라 “어떤 모델 + 어떤 하네스?”가 질문이 되었다. HN에서도 이 조합을 물어보는 패턴이 일반화되었다.

관련 이슈

• Pro-0813 + Harness 출시

긴 컨텍스트 단가

1M 토큰이 제품 기본값이 된 이유

타임라인

• 2024-03: Gemini 1.5 Pro, 1M 컨텍스트 발표. 실제로는 API 제한과 느린 속도.
• 2025-01: DeepSeek V3, MLA(Multi-Latent Attention) 도입. KV 캐시 압축.
• 2026-04: DeepSeek V4, CSA/DSA/HCA로 1M을 실용 기본값으로 만듦.

메커니즘

V4의 핵심은 세 가지 어텐션 메커니즘의 조합이다:

• CSA (Compressed Sparse Attention): m=4 토큰을 하나의 KV로 풀링, 그 다음 top-k만 선택 (Flash k=512, Pro k=1024)
• HCA (Heavily Compressed Attention): m=128 토큰을 풀링한 뒤 dense MQA
• Uncompressed window: 최근 128 토큰은 압축하지 않음
• 레이어마다 CSA/HCA를 인터리브

Pro 모델에서 1M 컨텍스트 처리 시:

• V3.2 대비 27% FLOPs
• KV 캐시는 10%만 사용

왜 중요한가

“긴 컨텍스트”가 마케팅 숫자에서 엔지니어링 기본값으로 전환되었다. Flash 모델(284B/13B active)은 출시 당일부터 실제로 쓸 수 있는 제품이었다.

관련 이슈

• DeepSeek V4 발표

MoE/라우팅

희소성을 넓이에서 안정적으로 유지하는 법

타임라인

• 2022-: Mixture of Experts 개념 재등장 (Switch Transformer 등)
• 2024-: DeepSeek V2/V3, MoE at scale
• 2026-07: Kimi K3 LatentMoE, 7168 experts → 3584 active routing
• 2026-: GLM IndexShare, Kakao μP+Muon

메커니즘

K3 LatentMoE

• 전체 2.78T 파라미터, 104.2B active
• 896 experts 중 16 experts + 2 shared experts를 활성화
• LatentMoE: 라우팅 차원 7168 → 실제 expert 선택 3584
• KDA (Key-Dependency Attention) ×3, 그 다음 Gated MLA ×1

안정성 문제

넓은 모델에서 sparse activation은 학습 불안정성을 야기한다. 해결책:

• μP (Maximal Update Parametrization): 넓이에 대한 학습률 스케일링
• Muon: Momentum-based optimizer 변형
• IndexShare: Expert 간 파라미터 공유 메커니즘

왜 중요한가

3T-class 모델을 100B active로 실행 가능하게 만드는 핵심 기술. 라우팅이 안정적이지 않으면 sparse MoE의 효율성은 무의미하다.

관련 이슈

• K3 발표
• K3 paper

포스트트레인 vs 프리트레인

같은 뇌, 연습만 다르게

타임라인

• 2024-: 전통적 패러다임: 새 모델 = 새 프리트레이닝
• 2025-: Post-training의 중요성 인식
• 2026-07: Flash-0731, V4 Flash와 동일한 284B/13B 가중치, post-train만 변경
• 2026-08: Pro-0813, DeepSWE 12.8→62.7 (V4 Pro base 동일)
• 2026-08: GLM-5.3, 5.2 base 동일, post-train만 업데이트

메커니즘

Post-training은:

• Instruction tuning
• RLHF / DPO
• Task-specific fine-tuning
• Specialized skill training

Flash-0731 사례:

• Base weights: 284B total, 13B active
• Pre-training: 동일
• Post-training: DeepSWE 12.8 → 54.4 (DeepSeek 자체 테이블 기준)

왜 중요한가

모델 릴리즈가 반드시 새 프리트레이닝을 의미하지 않는다. 같은 base model을 다른 방식으로 “연습시키는” 것이 제품 차별화의 핵심이 되었다.

관련 이슈

• K3 paper + Flash-0731
• Pro-0813 + Harness