DeepSeek-Modelle mit Ollama und LM Studio lokal für Offline-Inferenz bereitstellen und ausführen

Für Softwareentwickler, die mit proprietärem Quellcode arbeiten, und datenschutzbewusste Anwender, die vertrauliche Informationen verarbeiten, birgt das Senden von Prompts an externe Cloud-APIs erhebliche Compliance- und Sicherheitsrisiken. Das lokale Ausführen von quelloffenen DeepSeek-Modellen gewährleistet vollständige Datensouveränität: keinerlei Netzwerktelemetrie nach außen, keine nutzungsabhängigen Token-Gebühren und absolute Unabhängigkeit von externer Cloud-Infrastruktur.

Sowohl mit Ollama als auch mit LM Studio lassen sich die Denk- und Programmiermodelle von DeepSeek auf regulärer Consumer-Hardware betreiben. Sobald die Modelldateien heruntergeladen oder manuell importiert wurden, arbeiten beide Plattformen vollständig offline in physisch isolierten Umgebungen (Air-Gapped). Dieser Leitfaden erklärt die Dimensionierung der Hardware, die Überprüfung der Offline-Lauffähigkeit, das Einrichten lokaler OpenAI-kompatibler Server und die von DeepSeek empfohlenen Inferenzparameter.

1. Das passende DeepSeek-Modell für Ihre Hardware wählen

Die Modellfamilie DeepSeek-R1 umfasst das vollständige Flaggschiffmodell mit 671 Milliarden Parametern (671B) auf Basis einer Mixture-of-Experts-Architektur (MoE) sowie sechs dichte, destillierte Modelle, die auf Qwen 2.5 und Llama 3 aufbauen. Während das vollständige 671B-Modell Cluster mit mehreren Unternehmens-Grafikkarten oder extremen Unified-Memory-Arbeitsstationen (wie einen Mac Studio mit 512GB RAM) voraussetzt, laufen die destillierten Versionen reibungslos auf modernen PCs und Laptops.

Für reine Programmieraufgaben bietet zudem DeepSeek-Coder-V2 ein kompaktes 16B-MoE-Modell, das sich hervorragend für Entwickler-Workstations eignet.

Für den Großteil der Softwareentwicklungs- und Analyseaufgaben bieten DeepSeek-R1-Distill-Qwen-14B und DeepSeek-R1-Distill-Qwen-32B den besten Kompromiss aus analytischer Tiefe und moderatem Speicherbedarf.

2. Lokale Bereitstellung von DeepSeek mit Ollama

Ollama ist eine minimalistische, hochperformante Befehlszeilen-Laufzeitumgebung, die sich ideal für Hintergrunddienste, Skriptautomatisierungen und IDE-Erweiterungen eignet.

Schritt 1: Ollama installieren

Laden Sie die passende Version für Ihr Betriebssystem herunter:

• macOS: ZIP-Datei von der offiziellen Website herunterladen, entpacken und Ollama in den Programme-Ordner ziehen.
• Windows: Die Installationsdatei OllamaSetup.exe herunterladen und ausführen.
• Linux: Im Terminal das offizielle Installationsskript aufrufen:

  curl -fsSL https://ollama.com/install.sh | sh
  

Schritt 2: Modell herunterladen und starten

Laden Sie bei aktiver Internetverbindung die gewünschte Modellvariante herunter und starten Sie die Sitzung:

# Interaktive Terminalsitzung mit dem 8B-Modell starten
ollama run deepseek-r1:8b

# Oder leistungsstärkere Modelle mit 14B bzw. 32B ausführen
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b

Ollama erkennt installierte Hardwarebeschleuniger (NVIDIA CUDA, Apple Metal oder AMD ROCm) automatisch, reserviert den nötigen Videospeicher und öffnet den interaktiven Eingabeprompt.

Schritt 3: Reine Offline-Funktion verifizieren

So stellen Sie sicher, dass während der Inferenz keine Daten das System verlassen:

1. Deaktivieren Sie das WLAN oder ziehen Sie das Netzwerkkabel ab.
2. Öffnen Sie ein neues Terminalfenster und führen Sie folgenden Befehl aus:

   ollama run deepseek-r1:8b
   

Da sämtliche Modelldateien im lokalen Cache abgelegt sind (~/.ollama/models unter Linux/macOS bzw. %USERPROFILE%\.ollama\models unter Windows), generiert Ollama die Antworten ohne jede Internetverbindung.

Schritt 4: Übertragung in isolierte Netzwerke (Air-Gapped)

Für Rechner in sicherheitskritischen Bereichen ohne Internetzugang:

1. Laden Sie das Modell auf einem internetfähigen Rechner mit ollama pull deepseek-r1:14b herunter.
2. Navigieren Sie zu dem Verzeichnis, das durch OLLAMA_MODELS definiert ist (oder zum Standardordner ~/.ollama/models).
3. Kopieren Sie das Verzeichnis auf ein autorisiertes, verschlüsseltes Speichermedium.
4. Fügen Sie die Dateien auf dem isolierten Rechner am entsprechenden Pfad ein und prüfen Sie mit ollama list die Verfügbarkeit.

Schritt 5: Kontextfenster (Context Window) anpassen

Ollama verwendet standardmäßig eine Kontextlänge von 4.096 Token. Bei umfangreichen Code-Dateien empfiehlt sich eine Vergrößerung:

• Direkt im interaktiven Terminal:

  /set parameter num_ctx 16384
  

• Beim Starten des Hintergrunddienstes:

  OLLAMA_CONTEXT_LENGTH=16384 ollama serve
  

Schritt 6: Lokale Entwickler-API anbinden

Ollama stellt auf Port 11434 eine native REST-Schnittstelle sowie OpenAI-kompatible Endpunkte bereit.

Anfrage per cURL

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "messages": [
    {"role": "user", "content": "Erstelle eine threadsichere In-Memory-Cache-Komponente in Go."}
  ],
  "stream": false
}'

Python-Anbindung mit der offiziellen Ollama-Bibliothek

from ollama import chat

response = chat(
    model="deepseek-r1:8b",
    messages=[
        {
            "role": "user",
            "content": "Erläutere die Auswirkungen des Python GIL auf CPU-intensive Multithreading-Aufgaben und nenne Alternativen.",
        }
    ],
    options={
        "temperature": 0.6,
    },
)

print(response.message.content)

In Entwicklungsumgebungen wie VS Code oder JetBrains können Tools wie Continue.dev oder Aider mit der Basis-URL http://localhost:11434/v1 konfiguriert werden, um lokale Code-Vervollständigung ohne Cloud-Abhängigkeit zu nutzen.

3. Lokale Bereitstellung von DeepSeek mit LM Studio

LM Studio bietet eine intuitive grafische Desktop-Oberfläche mit Schiebereglern für die Aufteilung auf Grafik- und Arbeitsspeicher, Modellvergleichen und einem integrierten lokalen API-Server.

Schritt 1: LM Studio installieren

Laden Sie das Installationsprogramm für macOS (Apple Silicon M1–M4), Windows (x64 / Snapdragon ARM) oder Linux (AppImage) von der offiziellen Website herunter und führen Sie die Installation durch.

Schritt 2: DeepSeek-Modelle suchen und laden

1. Klicken Sie in der linken Leiste auf den Reiter Discover (Lupen-Symbol).
2. Geben Sie deepseek-r1 oder deepseek-coder in das Suchfeld ein.
3. Die Übersicht listet Community-Quantisierungen im GGUF-Format auf (z. B. Q4_K_M, Q5_K_M, Q8_0).
4. Prüfen Sie die angezeigte Speicherschätzung und klicken Sie bei der für Ihre Hardware passenden Datei auf Download.

Schritt 3: Manuelle Offline-Installation (GGUF-Sideloading)

Falls der Zielrechner keinen Internetzugang besitzt:

1. Laden Sie die gewünschte DeepSeek-.gguf-Datei auf einem externen Rechner von Hugging Face herunter.
2. Öffnen Sie in LM Studio den Reiter My Models (Ordner-Symbol).
3. Ziehen Sie die .gguf-Datei per Drag-and-Drop in das LM Studio-Fenster oder kopieren Sie sie nach ~/.cache/lm-studio/models.
4. Das Programm liest die Modellarchitektur automatisch ein.

Schritt 4: Hardwarezuweisung und GPU Layer Offload konfigurieren

1. Wechseln Sie in den Reiter AI Chat.
2. Klicken Sie oben auf Select a model to load und wählen Sie das importierte Modell aus.
3. Passen Sie im rechten Bereich Inference Parameters die Einstellungen an:
   • GPU Offload: Verschieben Sie den Regler, um festzulegen, wie viele Schichten in den VRAM der Grafikkarte geladen werden. Bei ausreichend VRAM wählen Sie das Maximum (Max); bei knappem Grafikspeicher (z. B. ein 14B-Modell auf einer 8GB-Grafikkarte) laden Sie nur einen Teil auf die GPU und lassen den Rest über den System-RAM (CPU) berechnen.
   • Context Length: Stellen Sie die gewünschte Token-Kontextlänge passend zum freien Speicher ein.

Schritt 5: Lokalen OpenAI-kompatiblen Server starten

Um LM Studio als lokalen Endpunkt für eigene Programme bereitzustellen:

1. Klicken Sie auf den Reiter Developer (Code-Klammern-Symbol in der Seitenleiste).
2. Schalten Sie den Schalter Start Server ein.
3. Standardmäßig lauscht der Dienst unter http://localhost:1234/v1.

Beispiel mit dem offiziellen OpenAI Python SDK

Bestehender Code, der auf der OpenAI-Bibliothek basiert, kann ohne strukturelle Anpassungen übernommen werden:

from openai import OpenAI

# Verbindet sich mit dem lokalen LM Studio-Server ohne Datenverkehr ins Internet
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # Standardmäßig ist keine Authentifizierung erforderlich
)

completion = client.chat.completions.create(
    model="deepseek-r1-distill-qwen-14b",
    messages=[
        {
            "role": "user",
            "content": "Analysiere das folgende SQL-Tabellenschema auf Index-Optimierungspotenziale:\nCREATE TABLE transaction_records (id BIGINT, account_id INT, payload TEXT, created_at TIMESTAMP);",
        }
    ],
    temperature=0.6,
)

print(completion.choices[0].message.content)

4. Wichtige Einstellungen für DeepSeek-R1 und Umgang mit Denk-Tags

DeepSeek-R1 arbeitet mit einer ausgeprägten Chain-of-Thought-Denklogik, die beim praktischen Einsatz besondere Parameter erfordert:

1. Temperatur strikt auf 0,6 halten

Das DeepSeek-Team empfiehlt ausdrücklich eine Sampling-Temperatur zwischen 0,5 und 0,7, wobei 0,6 als Standard-Benchmarkwert gilt. Zu hohe Werte führen zu Halluzinationen oder Wiederholungsschleifen, während Werte nahe null die heuristische Denkentfaltung stark einschränken.

2. Auf lange System-Prompts verzichten

Im Gegensatz zu reinen Konversationsmodellen wurde DeepSeek-R1 daraufhin trainiert, Anweisungen unmittelbar im User-Prompt zu verarbeiten. Das Vorschalten komplexer System-Prompts kann die logische Argumentationskette stören. Definieren Sie Rollen, Aufgaben und Formatvorgaben daher direkt innerhalb der Benutzeranfrage.

3. Umgang mit <think>-Tags in Anwendungen

DeepSeek-R1 gibt seine Zwischenschritte strukturiert innerhalb von <think>...</think>-Tags aus, bevor das eigentliche Endergebnis folgt.

• Für Endbenutzer-Oberflächen: Der Inhalt zwischen den <think>-Tags kann mittels regulärer Ausdrücke entfernt werden, um nur die finale Antwort darzustellen.
• Für Code-Reviews und logische Prüfungen: Das Beibehalten der Denksequenz ermöglicht es, die Zwischenschritte und Annahmen des Modells lückenlos nachzuvollziehen.

5. Vergleich und Entscheidungshilfe: Ollama vs. LM Studio

Empfehlung:

• Wählen Sie Ollama, wenn Sie eine schlanke Hintergrund-Engine für Terminal-Workflows, CI/CD-Pipelines, Docker-Container oder direkte Code-Assistenten im Editor suchen.
• Wählen Sie LM Studio, wenn Sie eine visuelle Arbeitsumgebung bevorzugen, um VRAM-Verbräuche zu überwachen, Berechnungen feingranular zwischen GPU und CPU aufzuteilen oder private Dokumente ohne Terminalaufwand zu befragen.

Referenzen

• deepseek-r1
• Offline Operation | LM Studio
• System Requirements | LM Studio
• LM Studio Developer Docs | LM Studio
• FAQ
• DeepSeek-R1