CodeGPT mit Ollama für lokale Code-Assistenz ohne externe API-Datenübertragung einrichten

Entwicklungsteams in der Finanztechnologie, im Gesundheitswesen, im öffentlichen Sektor und in sicherheitskritischen Großunternehmen unterliegen strengen Compliance-Richtlinien: Proprietärer Quellcode und geistiges Eigentum dürfen die Unternehmensgrenzen unter keinen Umständen verlassen. Während cloudbasierte KI-Programmierassistenten spürbare Produktivitätsvorteile bieten, verstößt die Übertragung von internen Repositories, proprietären Algorithmen und Datenbankschemata an externe SaaS-APIs gegen Datenschutzgesetze und interne Sicherheitsvorgaben.

Entwickler können diesen Konflikt zwischen Datenschutz und Produktivität auflösen, indem sie die CodeGPT-Erweiterung in Visual Studio Code mit der lokalen KI-Laufzeitumgebung Ollama kombinieren. CodeGPT fungiert als IDE-native Benutzeroberfläche für Codegenerierung, Refactoring und Inline-Vervollständigung (Autocomplete), während Ollama Open-Source-Modelle lokal über einen Loopback-Endpunkt (http://localhost:11434) bereitstellt. Sämtliche verarbeitete Token und Codezeilen verbleiben vollständig auf der lokalen Hardware.

Architekturvergleich: Cloud-Assistenten vs. lokale Ollama-Inferenz

Ein direkter Vergleich zwischen cloudbasierten Diensten und dem lokalen Setup verdeutlicht, warum diese Architektur den Anforderungen von Sicherheitsaudits und isolierten Umgebungen (Air-Gapped) entspricht:

Sobald CodeGPT auf Ollama eingestellt ist, sendet die Erweiterung standardisierte JSON-Anfragen an den lokalen Hintergrunddienst. Ollama lädt die Modellgewichte in den Grafikspeicher der GPU oder den Arbeitsspeicher, führt die Inferenz lokal aus und streamt die Antwort direkt in den Editor zurück. Ein Datenübertragungskanal in externe Netze existiert dabei schlichtweg nicht.

Modellauswahl und Hardware-Dimensionierung

Die Parametergröße des Modells bestimmt sowohl die Inferenzgeschwindigkeit als auch die logische Tiefe des generierten Codes. Wählen Sie das Modell passend zu Ihrer Systemausstattung:

1. Qwen2.5-Coder (7B / 14B): Eines der leistungsfähigsten mehrsprachigen Programmiermodelle für Refactorings, Typisierungen und automatisierte Unit-Tests. Die 7B-Variante läuft flüssig auf Systemen mit 16 GB Unified Memory oder GPUs mit 8 GB VRAM.
2. DeepSeek-Coder (6.7B / 1.3B): Bewährt für algorithmische Präzision und tiefes Verständnis bestehender Codestrukturen.
3. Codestral (22B): Spezialisiertes Modell von Mistral für Entwickler mit großen Kontextfenstern; optimal für Workstations mit 24 GB+ VRAM oder Macs mit 32 GB+ Speicher.
4. Qwen2.5-Coder (1.5B / 3B): Extrem niedrige Latenzzeiten und geringer Speicherbedarf; die ideale Wahl für verzögerungsfreie Inline-Vervollständigungen (Ghost Text).

Schritt 1: Ollama installieren und Programmiermodell herunterladen

Laden Sie Ollama für Ihr jeweiliges Betriebssystem herunter:

• macOS / Linux: Über die offizielle Website oder automatisierte Terminal-Installationsskripte installieren.
• Windows: Das Installationsprogramm von ollama.com herunterladen und den Hintergrunddienst über das System-Tray starten.

Überprüfen Sie anschließend im Terminal, ob Ollama ordnungsgemäß läuft:

ollama --version

Laden Sie das gewünschte Programmiermodell mit dem Befehl ollama pull herunter (dieser Befehl lädt die Gewichte herunter, ohne eine interaktive Terminalsitzung zu starten):

# Ausgewogenes Modell für Programmieraufgaben herunterladen
ollama pull qwen2.5-coder:7b

# (Optional) Leichtgewichtiges Modell für schnelle Inline-Vervollständigung
ollama pull qwen2.5-coder:1.5b

Überprüfen Sie die lokal verfügbaren Modelle:

ollama list

Schritt 2: Kontextlänge mit einem benutzerdefinierten Modelfile anpassen

Code-Analyse erfordert einen ausreichenden Kontext (Importanweisungen, Typendefinitionen, Funktionssignaturen und Kommentare). Standardmäßig initialisiert Ollama viele Modelle mit konservativen Kontextgrenzen (meist 2.048 oder 4.096 Token), um Speicher zu sparen.

Erstellen Sie ein angepasstes Modelfile, um das Kontextfenster auf 8.192 oder 16.384 Token zu vergrößern:

1. Erstellen Sie eine reine Textdatei namens Modelfile (ohne Dateiendung) in einem beliebigen Verzeichnis:

FROM qwen2.5-coder:7b

# Kontextfenster auf 8192 Token erweitern
PARAMETER num_ctx 8192

# Temperatur für präzisen, syntaktisch korrekten Code senken
PARAMETER temperature 0.2

# Sampling-Grenze einstellen
PARAMETER top_p 0.95

2. Erstellen Sie das optimierte Modell im Terminal:

ollama create my-local-coder -f ./Modelfile

Alternativ können Sie vor dem Starten des Dienstes die Umgebungsvariable OLLAMA_CONTEXT_LENGTH=8192 festlegen. Beachten Sie, dass größere Kontextfenster mehr VRAM für den KV-Cache belegen.

Schritt 3: CodeGPT in Visual Studio Code installieren und einrichten

1. Öffnen Sie Visual Studio Code.
2. Wechseln Sie zur Erweiterungsansicht (Strg+Umschalt+X unter Windows/Linux, Cmd+Umschalt+X unter macOS).
3. Suchen Sie nach CodeGPT (DanielSanMedium.dscodegpt) und klicken Sie auf Installieren.
4. Öffnen Sie die CodeGPT-Seitenleiste über das Icon in der Aktivitätsleiste (oder über Strg+Umschalt+P mit dem Befehl CodeGPT: Focus on Chat View).
5. Öffnen Sie die Modelleinstellungen über das Zahnradsymbol oder wählen Sie Manage my AI Models.
6. Wechseln Sie in der Kategorieauswahl auf den Reiter Local LLMs.
7. Wählen Sie im Dropdown-Menü Provider den Eintrag Ollama.
8. Überprüfen oder hinterlegen Sie die URL des lokalen Dienstes:

http://localhost:11434

(Wird Ollama auf einem dedizierten Server im geschlossenen Firmennetz betrieben, geben Sie die interne IP-Adresse an, z. B. http://192.168.1.100:11434).

9. Wählen Sie im Menü Model das heruntergeladene Modell (z. B. qwen2.5-coder:7b oder my-local-coder).
10. Klicken Sie außerhalb des Fensters, um die Einstellungen zu speichern. CodeGPT stellt daraufhin eine Verbindung zum lokalen Ollama-Endpunkt her.

Schritt 4: Chat-Assistenten und Code-Vervollständigung aktivieren

CodeGPT unterstützt zwei zentrale Workflows: den interaktiven Chat in der Seitenleiste und die automatische Code-Vervollständigung im Editor.

Seitenleisten-Chat und Refactoring

Markieren Sie Codeabschnitte im Editor und nutzen Sie CodeGPT direkt:

• Automatisierte Erstellung von Unit-Tests für bestehende Methoden.
• Erklärung von komplexer Geschäftslogik und Analyse veralteter Abhängigkeiten.
• Fehlersuche bei Compilerwarnungen oder Laufzeit-Exceptions.

Inline-Vervollständigung (Autocomplete) aktivieren

1. Öffnen Sie das Menü in der CodeGPT-Seitenleiste und wählen Sie Autocomplete.
2. Schalten Sie den Status auf ON.
3. Wählen Sie für die Vervollständigung ein kompaktes Modell (wie qwen2.5-coder:1.5b oder deepseek-coder:base), um verzögerungsfreie Vorschläge während des Tippens zu erhalten.
4. Justieren Sie Suggestion Delay und Max Tokens je nach Rechenkapazität Ihres Systems.

Schritt 5: Sicherheits-Hardening und vollständige Offline-Prüfung

Führen Sie zur Einhaltung aller Sicherheits- und Auditvorgaben folgende Schritte durch:

1. VS Code-Telemetrie abschalten

Verhindern Sie, dass der Editor selbst Diagnosedaten an externe Microsoft-Server übermittelt:

1. Öffnen Sie die VS Code-Einstellungen (Strg+, bzw. Cmd+,).
2. Suchen Sie nach telemetry.telemetryLevel.
3. Setzen Sie den Wert auf off.

2. Ollama auf die Loopback-Schnittstelle beschränken

Ollama bindet standardmäßig ausschließlich an 127.0.0.1:11434. Vermeiden Sie es, OLLAMA_HOST=0.0.0.0 auf Einzelplatzrechnern zu setzen, damit andere Rechner im lokalen Netzwerk keine Verbindungen zu Ihrer Instanz aufbauen können.

3. Offline-Test (Air-Gapped-Validierung)

1. Trennen Sie das Ethernet-Kabel und deaktivieren Sie das WLAN Ihres Rechners (oder blockieren Sie den ausgehenden Netzwerkverkehr über die Firewall).
2. Öffnen Sie eine Quelldatei in VS Code.
3. Senden Sie eine Anfrage an CodeGPT und tippen Sie Codezeilen ein, um die automatische Vervollständigung zu testen.
4. Wenn CodeGPT und Ollama offline ohne Fehlermeldung reagieren, ist bewiesen, dass keine externen Netzwerkressourcen beansprucht werden und der Quellcode isoliert bleibt.

Problembehebung und Optimierung

• Verbindung verweigert (Connection Refused): Stellen Sie sicher, dass Ollama im Hintergrund aktiv ist. Unter Windows/macOS prüfen Sie das Tray-Icon; unter Linux testen Sie den Endpunkt mit curl http://localhost:11434.
• CORS-Fehler: Wenn das interne Webview-Fenster von VS Code Anfragen ablehnt, setzen Sie die Umgebungsvariable OLLAMA_ORIGINS="*" und starten Sie Ollama neu.
• Geringe Token-Rate / Leistungseinbruch: Wenn die Antwortgenerierung stark verlangsamt ist, reicht der VRAM der GPU möglicherweise nicht aus, sodass Rechenschichten auf den Hauptspeicher der CPU ausgelagert werden. Reduzieren Sie die Modellgröße (z. B. Wechsel von 14B zu 7B oder von 7B zu 1.5B/3B) oder verringern Sie den Parameter num_ctx im Modelfile.

Referenzen

• Ollama | CodeGPT
• CodeGPT: AI Coding Agents & Chat - Visual Studio Marketplace
• Ollama · Run AI models locally and in the cloud
• GitHub - ollama/ollama: Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models. · GitHub