긴 컨텍스트 단가

비용의 정체

긴 컨텍스트 비용이 KV 캐시 바이트 수에만 비례한다면, 1M 토큰은 여전히 마케팅 숫자였을 것이다. 실제로 제품 기본값이 된 건 어텐션이 더 이상 raw 토큰 위에서 돌지 않기 때문이다. 문제는 “어떻게 압축하는가”다.

세 갈래가 있다.

Recurrent compression은 컨텍스트를 고정 크기 hidden state로 접는다. Gated DeltaNet 같은 선형 recurrence가 여기 속한다. 메모리는 O(1)이지만 긴 컨텍스트에서 정보 손실 리스크가 있다. 대신 속도는 빠르다.

Indexer sparse는 중요한 토큰만 선택해서 남긴다. DeepSeek-V4의 CSA(Compressed Sparse Attention)처럼 m=4 토큰을 풀링한 뒤 top-k만 골라낸다. 메모리는 줄지만 어텐션 패스는 남는다. 중요한 것만 본다는 가정이 맞아떨어지면 효율적이다.

Hybrid는 둘을 섞는다. 최근 윈도우는 full attention, 먼 과거는 recurrent나 sparse로 처리. Flash-Next(Qwen4 preview)가 3 GDN + 1 full/QSA를 4-layer 블록마다 인터리브한다. 각 메커니즘이 잘 작동하는 범위에서만 쓴다.

Flash-Next 계보로 채우는 중

이 레인은 Qwen 3.8 Flash-Next 계보 연구로 채워지고 있다. 첫 노트는 GDN이다.

• Gated DeltaNet — 선형 recurrence + delta rule로 고정 메모리에서 long context 처리

DeepSeek-V4 CSA/HCA 메커니즘은 이미 위에 간단히 언급했다. V4의 핵심은 세 가지 어텐션 메커니즘 조합이다:

• CSA (Compressed Sparse Attention): m=4 토큰을 하나의 KV로 풀링, 그 다음 top-k만 선택 (Flash k=512, Pro k=1024)
• HCA (Heavily Compressed Attention): m=128 토큰을 풀링한 뒤 dense MQA
• Uncompressed window: 최근 128 토큰은 압축하지 않음
• 레이어마다 CSA/HCA를 인터리브

Pro 모델에서 1M 컨텍스트 처리 시 V3.2 대비 27% FLOPs, KV 캐시는 10%만 사용한다.

GDN은 다른 방향이다. Sparse selector가 아니라 recurrent compressor다. Flash-Next가 두 메커니즘을 어떻게 섞었는지가 계보의 핵심 질문이다.