초당 420토큰 찍었다는 딥시크-V4.1 플래시 아키텍처 뜯어보기

요약 딥시크(DeepSeek)가 공개한 기술 보고서에 따르면, 새롭게 선보인 '딥시크-V4.1 플래시(DeepSeek-V4.1 Flash)'는 단순한 후속 버전 수준을 넘어 '딥시크-V5 플래시'라 불러도 될 만큼 파격적인 아키텍처 혁신을 담고 있습니다. 실제로 블로그 작성자는 초당 약 420토큰에 달하는 빠른 속도를 체감했으며, 기존 V4 Pro 모델들이 내려가는 것을 보고 심상치 않은 변화를 감지했다고 전했습니다. 이번 모델의 핵심 목표는 KV 캐시(KVCache) 압축을 극한까지 밀어붙이는 것입니다. 최근 긴 시계열을 요구하는 AI 에이전트 워크플로우로 인해 컨텍스트 길이가 기하급수적으로 늘어났고, 다양한 도구 호출이 수반되며 프리필(Prefill) 연산과 메모리 저장 압박이 한계에 달했기 때문입니다. 특히 HBM 메모리와 외부 SSD의 용량 및 대역폭 병목은 모델 스케일링을 가로막는 주요 원인이었습니다. 이를 해결하기 위해 딥시크-V4.1 플래시는 전체 552B 매개변수 규모에 네이티브 멀티모달과 최대 100만 토큰 컨텍스트를 지원하면서도, Causal Encoder-Decoder(CED) 구조와 YOCO의 아이디어를 적극 도입했습니다. 전체 40개 레이어 중 프리필 단계에서는 20개 레이어만 사용하여 토큰당 8B 매개변수만 활성화하고, 디코딩 단계에서는 16B만 활성화하도록 설계해 연산 비용을 대폭 낮췄습니다. 동시에 CSA2 기반의 채널·시퀀스 차원 압축, Sparse Attention 인덱서 최적화, 그리고 FP4 정밀도의 KV 캐시를 적용했습니다. 그 결과 고품질 성능을 유지하면서도 런타임 KV 캐시 용량을 기존 V4 플래시 대비 4분의 1로, 지속 저장 캐시 용량은 8분의 1 수준으로 줄였습니다. 이는 긴 문맥을 처리하는 에이전트 서빙 환경의 비용과 통신 병목을 획기적으로 덜어냈다는 평가를 받습니다.