Am 13. August 2026 hat DeepSeek sein Open-Weight-Flaggschiffmodell DeepSeek-V4-Pro (Version 0813 GA) offiziell freigegeben. Dieser Meilenstein markiert den branchenweiten Übergang von monolithischen Dense-Modellen und starren Reasoning-Ketten hin zu hochskalierbaren, spärlich besetzten Mixture-of-Experts-Architekturen (MoE) mit dynamischer Speichereffizienz bei langen Sequenzen. Mit 1,6 Billionen Gesamtparametern, von denen pro Token lediglich rund 49 Milliarden aktiv berechnet werden, einem Kontextfenster von 1 Million Tokens und drei zur Laufzeit wählbaren Denkmodi (Thinking Modes) liefert das Modell eine belastbare Grundlage für komplexe Softwareentwicklung und autonome Agenten.
Um den massiven Speicherengpass bei Kontextlängen im Millionenbereich zu überwinden, hat DeepSeek-V4-Pro den Aufmerksamkeitsmechanismus grundlegend restrukturiert. Durch die Kombination von komprimierter spärlicher Aufmerksamkeit (CSA) und stark komprimierter Aufmerksamkeit (HCA) wird der VRAM-Bedarf des KV-Caches signifikant reduziert, während die Zuverlässigkeit bei der dokumentübergreifenden Informationsabfrage und logischen Verknüpfung erhalten bleibt.
1,6T MoE und dynamisches Experten-Routing
DeepSeek-V4-Pro wurde auf über 32 Billionen Tokens qualitativ hochwertiger mehrsprachiger Texte und Quelltexte vortrainiert. Strukturell baut es auf der für DeepSeek typischen feingliedrigen Expertenteilung und isolierten geteilten Expertenarchitektur auf.
| Architekturparameter | DeepSeek-V4-Pro | DeepSeek-V4-Flash |
|---|---|---|
| Gesamtparameter | 1,6T (1.600 Mrd.) | 284 Mrd. |
| Aktive Parameter pro Token | ~49 Mrd. | ~13 Mrd. |
| Kontextfenster | 1.000.000 Tokens (1M) | 1.000.000 Tokens (1M) |
| Pre-Training-Umfang | > 32T Tokens | > 32T Tokens |
| Lizenz | MIT License | MIT License |
| Modellgewichte | Hugging Face Repository | Hugging Face Repository |
Während der Inferenz leitet ein dynamisches Gating-Netzwerk eingehende Tokens zu den jeweils am besten geeigneten Fachexperten, während ein fester Anteil geteilter Experten grundlegende Grammatik und allgemeines Weltwissen verarbeitet. Dieser Ansatz verhindert Leistungsabfälle durch ungleiche Expertenauslastung und stellt die Kapazität eines 1,6T-Dense-Modells bei den Betriebskosten eines 49B-Modells bereit.
CSA und HCA: Durchbruch bei der 1M-Token-Speicherwand
Bei herkömmlichen Full-Attention-Verfahren wächst der Speicherbedarf des KV-Caches linear zur Sequenzlänge, während der Rechenaufwand quadratisch ansteigt. Bei einer Million Tokens erfordert die Speicherung des Roh-KV-Caches Hunderte Gigabyte VRAM, was den kontinuierlichen Betrieb autonomer Agenten wirtschaftlich stark einschränkt.
DeepSeek-V4-Pro begegnet diesem Problem mit zwei ineinandergreifenden Kompressionsschichten:
Eingabesequenz (1M Tokens)
│
├── Lokales Schiebefenster ──► HCA (Heavily Compressed Attention) ──► Lokale Präzisionsaufmerksamkeit
│
└── Globaler historischer Kontext ──► CSA (Compressed Sparse Attention) ──► Dynamischer Selektor & Projektion
│
▼
~70%-80% KV-Cache-Speicherreduktion
- Compressed Sparse Attention (CSA): Ein leichtgewichtiges Bewertungsnetzwerk filtert und bündelt für die aktuelle Anfrage relevante Speicherblöcke, aktiviert nur essenzielle Tokens und komprimiert den Hintergrundkontext in niederdimensionale Projektionen.
- Heavily Compressed Attention (HCA): Behält im lokalen Schiebefenster die volle Kontextschärfe bei und wendet auf weiter zurückliegende Tokens ebenenübergreifende Quantisierung und Key-Value-Pooling an.
Das Zusammenspiel von CSA und HCA senkt den VRAM-Verbrauch des KV-Caches um mehr als 70 % und ermöglicht mehrstufige Refactorings sowie Analysen ganzer Repositories ohne Speichermangel.
Abgestufte Denkmodi (Thinking Modes)
Frühe Reasoning-Modelle (wie DeepSeek-R1) nutzten starre oder unbegrenzte Chain-of-Thought-Ketten. In Produktionsumgebungen erfordern einfache Datenumwandlungen und tiefgreifende Architekturentwürfe jedoch grundlegend unterschiedliche Denktiefen.
DeepSeek-V4-Pro bietet drei direkt konfigurierbare Denkmodi:
- Low (Gering): Optimiert für einfache Befehlsausführung, Datenextraktion und schnelle Code-Vervollständigung bei minimaler Latenz (TTFT) und geringstem Token-Verbrauch.
- High (Standard): Standardmodus für algorithmische Entwicklung, mathematische Beweise und Fehlersuche mit vollständiger Hypothesenprüfung.
- Max (Maximal): Konzipiert für umfangreiche Architekturüberarbeitungen, Protokolldesigns und Sicherheitsaudits mit mehrdimensionaler Pfadsuche und Konsistenzprüfungen.
Die Modi werden über die offizielle API-Dokumentation und Responses-API-Anleitung gesteuert, wodurch sich Kosten und Latenzen pro Arbeitsschritt flexibel anpassen lassen.
Benchmarks für Softwareentwicklung und Agenten
In Tests zu Systemadministration und Softwareentwicklung erzielt DeepSeek-V4-Pro Spitzenwerte. Bei Benchmarks wie Terminal-Bench 2.1 (Konsolensteuerung und Systemoperationen) und DeepSWE (autonome Behebung von Repository-Issues) übertrifft das Modell bisherige Open-Weight-Systeme und erreicht das Niveau führender proprietärer Modelle.
Während DeepSeek-V4-Flash für interaktive Echtzeitdialoge bevorzugt wird, bietet V4-Pro mit 1,6T Parametern und dem Max-Denkmodus bei komplexen, dateiübergreifenden Refactorings unverzichtbare Vorteile.
Bereitstellung und Integrationsoptionen
Für Entwicklungsteams stehen zwei Hauptwege zur Verfügung:
- Verwaltete Cloud-APIs: Die Nutzung über die offizielle DeepSeek-Plattform oder OpenRouter spart die Infrastrukturkosten für einen 1,6T-MoE-Cluster. Durch das Modell mit tageszeitabhängigen Tarifen (Peak / Off-Peak) lassen sich asynchrone Batch-Prozesse zusätzlich wirtschaftlich betreiben.
- Private On-Premises-Infrastruktur: Der Betrieb der vollständigen 1,6T-Gewichte setzt Cluster mit mindestens 8x H100/H200-GPUs voraus. Für lokale Entwicklungsrechner empfiehlt sich die 4-Bit-quantisierte Variante von V4-Flash oder der Einsatz von vLLM und SGLang mit nativer CSA/HCA-Unterstützung.
DeepSeek-V4-Pro belegt, dass offene Gewichte extrem lange Kontexte und variable Reasoning-Tiefen effizient vereinen können. Die drastische Reduktion des Speicheraufwands schafft eine verlässliche Basis für skalierbare autonome Softwaresysteme.