2026년 8월 13일, DeepSeek는 주력 오픈 웨이트 모델인 DeepSeek-V4-Pro(0813 정식 버전)를 공식 발표했습니다. 이번 출시는 단일 밀집형(Dense) 추론과 고정된 사고의 사슬(Chain of Thought)에서 벗어나, 초규모 희소 혼합 전문가(MoE) 구조와 동적 장문 메모리 압축 기술로의 전환을 의미합니다. 총 1.6조 개 매개변수 중 토큰당 약 490억 개만을 활성화하는 효율적인 설계와 최대 100만 토큰의 컨텍스트 창, 3단계 가변 사고 모드(Thinking Modes)를 지원하여 복잡한 소프트웨어 엔지니어링 및 자율 에이전트 시스템에 최적화된 기반을 제공합니다.
100만 토큰 이상의 긴 문맥에서 발생하는 KV 캐시 메모리 병목 현상을 해결하기 위해 DeepSeek-V4-Pro는 어텐션 메커니즘을 혁신했습니다. 압축 희소 어텐션(CSA)과 고압축 어텐션(HCA)을 결합하여 메모리 점유율을 대폭 낮추는 동시에 고정밀 문서 간 검색 및 추론 능력을 유지했습니다.
1.6T MoE 및 동적 전문가 라우팅
DeepSeek-V4-Pro는 32조 개 이상의 고품질 다국어 및 코드 토큰으로 사전 학습되었습니다. 모델 백본에는 DeepSeek 고유의 세분화된 전문가 분할 및 공유 전문가 격리 구조가 적용되었습니다.
| 아키텍처 항목 | DeepSeek-V4-Pro | DeepSeek-V4-Flash |
|---|---|---|
| 총 매개변수 | 1.6T (1,600B) | 284B |
| 토큰당 활성 매개변수 | ~49B | ~13B |
| 컨텍스트 윈도우 | 1,000,000 토큰 (1M) | 1,000,000 토큰 (1M) |
| 사전 학습 데이터 규모 | > 32T 토큰 | > 32T 토큰 |
| 라이선스 | MIT License | MIT License |
| 가중치 배포 | Hugging Face 공식 저장소 | Hugging Face 공식 저장소 |
순전파 계산 시 동적 게이팅 네트워크는 입력 토큰을 최적의 전문 전문가 하위 집합으로 라우팅하며, 고정된 비율의 공유 전문가가 공통 문법과 일반 지식을 처리합니다. 이를 통해 기존 MoE 모델의 부하 불균형 문제를 방지하면서 49B 수준의 연산 비용으로 1.6T 밀집 모델에 버금가는 성능을 달성합니다.
CSA와 HCA: 100만 토큰 메모리 한계 극복
표준 어텐션 메커니즘에서는 시퀀스 길이에 따라 KV 캐시 메모리가 선형적으로 증가합니다. 100만 토큰 환경에서는 KV 캐시 유지에만 수백 기가바이트의 VRAM이 소모되어 자율 에이전트의 연속 실행에 큰 비용 부담이 발생합니다.
DeepSeek-V4-Pro는 상호 보완적인 두 가지 압축 어텐션을 도입했습니다:
입력 시퀀스 (1M Tokens)
│
├── 최근 윈도우 문맥 ──► HCA (Heavily Compressed Attention) ──► 고정밀 슬라이딩 윈도우 어텐션
│
└── 원거리 전체 이력 ──► CSA (Compressed Sparse Attention) ──► 동적 선택 및 저차원 압축 투영
│
▼
KV 캐시 메모리 약 70%~80% 절감
- 압축 희소 어텐션 (CSA, Compressed Sparse Attention): 경량 스코어링 네트워크를 통해 현재 질의와 관련성이 높은 핵심 메모리 블록만 활성화하고, 나머지 배경 토큰은 저차원 투영으로 압축 보관합니다.
- 고압축 어텐션 (HCA, Heavily Compressed Attention): 슬라이딩 윈도우 내에서 세부 문맥을 온전히 유지하면서, 윈도우 밖의 이전 시퀀스에 계층 간 양자화 및 키-값 풀링을 적용합니다.
두 기술의 결합으로 1M 컨텍스트 추론 시 KV 캐시 메모리 사용량이 70% 이상 감소하여, 수십 단계의 코드 리팩토링 및 대규모 저장소 분석 작업을 안정적으로 수행할 수 있습니다.
3단계 사고 모드 (Thinking Modes)
기존 추론 모델(예: DeepSeek-R1)은 고정된 길이의 사고 체인에 의존했습니다. 그러나 실제 업무 환경에서는 단순 데이터 변환과 고난도 아키텍처 설계에 요구되는 추론 수준이 다릅니다.
DeepSeek-V4-Pro는 API 및 모델 인터페이스에서 직접 선택할 수 있는 3단계 사고 모드를 제공합니다:
- Low (경량 모드): 정형 데이터 추출, 문서 요약, 단순 코드 완성용. 추론 단계를 최소화하여 첫 토큰 생성 시간(TTFT)과 비용을 대폭 줄입니다.
- High (표준 모드): 알고리즘 설계, 수학적 증명, 소프트웨어 디버깅용 기본 설정. 가설 검증과 자체 오류 수정을 수행합니다.
- Max (최대 탐색 모드): 대규모 아키텍처 변경, 크로스 파일 취약점 분석용. 잠재 공간 내에서 다중 경로 탐색과 엄격한 일관성 검증을 진행합니다.
이 모드는 공식 API 문서 및 Responses API 가이드에서 직접 지정할 수 있어 작업별로 비용과 지연 시간을 유연하게 조율할 수 있습니다.
코딩 및 자율 에이전트 벤치마크
터미널 제어 및 소프트웨어 엔지니어링 평가에서 DeepSeek-V4-Pro는 뛰어난 도구 연동 능력을 입증했습니다. 공인 벤치마크에 따르면 V4-Pro는 Terminal-Bench 2.1(다단계 셸 작업) 및 DeepSWE(오픈소스 이슈 해결) 평가에서 주요 상용 폐쇄형 모델과 동등한 수준의 최상위 점수를 기록했습니다.
대화형 작업에는 저지연 DeepSeek-V4-Flash가 효율적이지만, 수백 개의 파일이 얽힌 대규모 리팩토링에서는 V4-Pro의 1.6T 지식 깊이와 Max 사고 모드가 확실한 우위를 제공합니다.
배포 전략 및 생태계 통합
DeepSeek-V4-Pro를 도입하려는 엔지니어링 팀은 다음과 같은 방식을 선택할 수 있습니다:
- 클라우드 관리형 API: DeepSeek 공식 플랫폼이나 OpenRouter를 통해 초대형 MoE 클러스터 관리 부담 없이 활용하며, 시간대별 요금제를 통해 비동기 배치 작업 비용을 절감할 수 있습니다.
- 온프레미스 사설 배포: 비양자화 1.6T 모델 전체를 구동하려면 8장의 H100/H200 등 엔터프라이즈급 인프라가 필요합니다. 개별 워크스테이션 환경에서는 4-bit 양자화된 V4-Flash를 사용하거나 vLLM, SGLang의 CSA/HCA 가속 커널을 활용한 로컬 환경 구축이 권장됩니다.
DeepSeek-V4-Pro는 오픈 웨이트 모델이 초장문 컨텍스트와 유연한 추론 제어를 성공적으로 결합할 수 있음을 보여줍니다. 메모리와 연산 효율의 획기적인 개선을 통해 엔터프라이즈급 자율 에이전트 구축의 실질적인 표준을 제시하고 있습니다.