Wie Unternehmensadministratoren JetBrains AI Enterprise für das Routing von Chat-Anfragen zu lokalen OpenAI-kompatiblen Modellen konfigurieren

Unternehmen in stark regulierten Branchen wie dem Banken- und Finanzwesen, dem Verteidigungssektor, dem Gesundheitswesen sowie bei Betreibern kritischer Infrastrukturen unterliegen strengen Compliance-Vorgaben beim Einsatz von KI-Entwicklungswerkzeugen. Gesetzliche Bestimmungen wie die DSGVO, PCI-DSS oder interne Richtlinien zur Verhinderung von Datenverlusten (Data Loss Prevention, DLP) verbieten es strikt, geschützten Quellcode oder Geschäftsgeheimnisse an öffentliche mandantenfähige Cloud-KI-Dienste (wie cloudbasierte Modelle von OpenAI oder Anthropic Claude) zu übermitteln.

Um diesen Zielkonflikt aufzulösen, bietet JetBrains das Modul JetBrains AI Enterprise an, das zentral über JetBrains IDE Services verwaltet wird. Durch die Bereitstellung von IDE Services innerhalb eines isolierten oder physisch getrennten (Air-Gapped) Unternehmensnetzwerks können Administratoren unternehmensinterne OpenAI-kompatible Endpunkte — etwa auf Basis von vLLM, llama.cpp, LM Studio oder internen KI-Gateways — zentral registrieren und alle Chat-Anfragen des JetBrains AI Assistant vollständig über die eigene private Infrastruktur leiten.

Dieser Leitfaden erläutert Schritt für Schritt, wie Unternehmensadministratoren JetBrains AI Enterprise für lokale OpenAI-kompatible Modelle konfigurieren, zentrale Profile verteilen und den vollständigen Schutz sensibler Quellcodedaten gewährleisten.

Architektonische Trennung: AI Chat versus Code-Vervollständigung

Vor Beginn der Konfiguration ist es entscheidend, die funktionale Trennung innerhalb des JetBrains-KI-Ökosystems zu verstehen:

1. Interaktiver AI Chat und Kontextaktionen: Der Chat-Dialog, Code-Erklärungen, Refactoring-Vorschläge, das Erstellen von Unit-Tests und das Generieren von Commit-Nachrichten kommunizieren über standardisierte OpenAI-kompatible HTTP-Aufrufe (/v1/chat/completions). Administratoren können diese Anfragen flexibel an interne Inferenz-Cluster leiten, auf denen offene Entwicklungsmodelle wie Qwen 2.5 Coder, Llama 3.3 oder DeepSeek Coder laufen.
2. Native Code-Vervollständigung: Einzeilige und mehrzeilige Inline-Vervollständigungen erfordern extrem geringe Latenzzeiten im Millisekundenbereich. In isolierten Unternehmensumgebungen wird diese Aufgabe durch JetBrains Mellum gelöst, eine proprietäre Vervollständigungs-Engine, die On-Premises auf dedizierten NVIDIA-GPU-Servern (wie L40, H100 oder H200) betrieben wird.

Durch die Kombination eines lokalen OpenAI-kompatiblen Chat-Servers mit einer intern gehosteten Mellum-Instanz erreicht die Organisation eine lückenlose, vollständig autarke KI-Unterstützung im Air-Gapped-Betrieb, ohne dass Quellcode das Firmennetzwerk verlässt.

Voraussetzungen und Systemvorbereitung

Bevor Sie die Konfiguration in der Verwaltungsoberfläche von JetBrains IDE Services vornehmen, müssen folgende Komponenten einsatzbereit sein:

• JetBrains IDE Services Server: Im Unternehmensnetzwerk (über Kubernetes-Helm-Charts oder Docker-Container) installiert und mit gültigen internen TLS-Zertifikaten abgesichert.
• AI Enterprise Lizenzierung: Im JetBrains Account des Unternehmens aktiviert und im IDE Services Menü unter License & Activation freigeschaltet.
• Lokaler OpenAI-kompatibler Inferenz-Cluster: Ein lauffähiger Inferenzdienst im internen Netz, der eine API nach OpenAI-Standard bereitstellt (z. B. http://vllm-cluster.internal:8000/v1 oder über ein internes Gateway https://ai-gateway.corp.internal/v1).
  • Unterstützt werden Frameworks wie vLLM, llama.cpp, LM Studio oder individuelle Unternehmens-Proxys.
  • Der Endpunkt muss den Aufruf /v1/chat/completions standardkonform unterstützen.
  • Das Modell muss über ein passendes Chat-Template in der Tokenizer-Konfiguration verfügen.
• Client-Voraussetzungen: Entwickler-Workstations verfügen über die installierte JetBrains Toolbox App (Version 2.5.1 oder neuer) und sind mit dem IDE Services Server verbunden.

Schritt 1: Lokalen OpenAI-kompatiblen Server bereitstellen und testen

Stellen Sie sicher, dass der interne Inferenz-Cluster vom Host des JetBrains IDE Services Servers aus erreichbar ist. Ein Beispiel für den Start eines Modells mit vLLM:

vllm serve Qwen/Qwen2.5-Coder-32B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --dtype auto \
  --tensor-parallel-size 2 \
  --api-key corp-interner-geheimer-token \
  --chat-template /pfad/zu/chat_template.jinja

Führen Sie eine Testanfrage aus dem internen Netzwerk durch, um die Erreichbarkeit und Authentifizierung zu validieren:

curl -X POST https://ai-gateway.corp.internal/v1/chat/completions \
  -H "Authorization: Bearer corp-interner-geheimer-token" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-Coder-32B-Instruct",
    "messages": [{"role": "user", "content": "Ping"}]
  }'

Sobald eine wohlgeformte JSON-Antwort mit der Modellausgabe zurückgegeben wird, ist der Endpunkt bereit für die Anbindung.

Schritt 2: OpenAI Compatible Provider in IDE Services anlegen

Die Verwaltung der Modellbereitstellung erfolgt zentral über die Weboberfläche von JetBrains IDE Services:

1. Melden Sie sich mit einem Administratorkonto an der JetBrains IDE Services Web UI an.
2. Navigieren Sie im linken Menü zu Configuration und öffnen Sie den Reiter License & Activation.
3. Scrollen Sie zum Bereich AI Enterprise und klicken Sie auf Settings.
4. Wechseln Sie auf den Reiter AI Providers.
5. Klicken Sie auf Add provider und wählen Sie im Auswahlmenü OpenAI Compatible aus.
6. Füllen Sie die erforderlichen Felder aus:
   • Endpoint: Geben Sie die Basis-URL Ihres internen Gateways oder Inferenz-Servers ein (z. B. https://ai-gateway.corp.internal/v1 oder http://vllm.internal:8000/v1). Hängen Sie nicht /chat/completions an, da die IDE-Clients den Pfad automatisch ergänzen.
   • Authentication / API Key: Tragen Sie den Bearer-Token oder API-Schlüssel ein, der am Inferenz-Gateway konfiguriert ist. Verwendet das interne Gateway benutzerdefinierte Header, geben Sie Header-Name und -Wert in den entsprechenden Feldern an.
   • Model Name: Tragen Sie den genauen Modellbezeichner ein, den der Server exponiert (z. B. Qwen/Qwen2.5-Coder-32B-Instruct oder meta-llama/Llama-3.3-70B-Instruct).
   • Tokens: Definieren Sie die Obergrenzen für Max input tokens (maximaler Eingabekontext) und Max output tokens (maximale Ausgabelänge) passend zum VRAM-Budget der lokalen GPUs.
7. Klicken Sie auf Test connection, um zu überprüfen, ob IDE Services eine erfolgreiche Netzwerkverbindung herstellen und den Endpunkt ansprechen kann.
8. Klicken Sie nach erfolgreichem Test auf Save, um den Anbieter zu speichern.

Schritt 3: Lokalen Anbieter als Standard festlegen und externe Dienste sperren

Damit der gesamte Entwickler-Traffic verbindlich auf das interne Modell geleitet wird:

1. Lokalisieren Sie in der Liste der AI Providers den neu erstellten OpenAI-kompatiblen Anbieter.
2. Markieren Sie diesen als Default (Standardanbieter).
3. Deaktivieren oder entfernen Sie externe Cloud-Anbieter (wie den Standarddienst JetBrains AI oder die öffentliche OpenAI Platform) aus der Standardauswahl. Beachten Sie die Systemlogik: Wenn JetBrains AI als Standard ausgewählt ist, muss es der einzige Standardanbieter sein. Um eigene lokale Anbieter als Standard zu setzen, muss JetBrains AI abgewählt werden.
4. Falls in Ihrem Unternehmen auch JetBrains Mellum für die Code-Vervollständigung lokal betrieben wird, wechseln Sie auf den Reiter Code Completion und setzen Sie Mellum als exklusiven Vervollständigungsanbieter.
5. Klicken Sie auf Save, um die globalen Einstellungen anzuwenden.

Schritt 4: Profile (Profiles) konfigurieren und Entwicklerteams zuweisen

Über Profiles verteilt JetBrains IDE Services IDE-Builds, Plug-in-Vorgaben, Sicherheitsrichtlinien und KI-Berechtigungen an Entwickler-Arbeitsplätze:

1. Öffnen Sie in der IDE Services Web UI die Seite Profiles.
2. Wählen Sie das Profil des entsprechenden Entwicklerteams aus (z. B. Core Engineering Profile) oder erstellen Sie über Create profile ein neues.
3. Suchen Sie im Profil den Abschnitt AI Enterprise.
4. Stellen Sie sicher, dass AI Enterprise für dieses Profil aktiviert ist.
5. Vergewissern Sie sich, dass im Auswahlmenü der Default provider (Ihr lokaler OpenAI-kompatibler Endpunkt) ausgewählt ist.
6. Weisen Sie das Profil den gewünschten Benutzergruppen zu oder deklarieren Sie es als globales Standardprofil.
7. Klicken Sie auf Save changes, um die Zuweisung zu aktivieren.

Schritt 5: Entwickler-Workstations und Client-Erlebnis überprüfen

Nach Veröffentlichung der Richtlinien synchronisieren die IDEs der Entwickler die Konfiguration automatisch:

1. Toolbox App Verbindung: Der Entwickler startet die JetBrains Toolbox App und meldet sich über den Einladungslink oder Enterprise-SSO am IDE Services Server an.
2. Automatische Richtlinienanwendung: Die Toolbox App wechselt in den Enterprise-Modus, wendet das zugewiesene Profil auf alle installierten IDEs (IntelliJ IDEA, PyCharm etc.) an und aktiviert das Plug-in AI Assistant.
3. Nutzung des AI Chat Fensters:
   • Wenn der Entwickler das AI Assistant Werkzeugfenster öffnet, ist dieses direkt mit dem firmeninternen Modell verbunden.
   • Der Entwickler kann Fragen zu Quellcode stellen, Tests generieren und Refactorings anfordern.
   • Der gesamte Datenverkehr fließt ausschließlich über das gesicherte Firmennetzwerk zum internen Server.
4. Administrative Sperre auf Client-Ebene: Unter Settings | Tools | AI Assistant | Providers & API keys (Einstellungen | Werkzeuge | AI Assistant | Anbieter & API-Schlüssel) sind individuelle Eingaben (Bring Your Own Key - BYOK) sowie unautorisierte externe Cloud-Verbindungen gesperrt, sodass keine versehentlichen Abflüsse in die Public Cloud möglich sind.

Best Practices für Unternehmenssicherheit und stabilen Betrieb

Für einen hochverfügbaren und konformen Produktivbetrieb empfiehlt es sich, folgende Best Practices umzusetzen:

Verwaltung privater CA-Zertifikatsketten

In abgeschotteten Umgebungen nutzen interne Endpunkte Zertifikate einer unternehmenseigenen Zertifizierungsstelle (Internal CA). Stellen Sie sicher, dass das Stammzertifikat der Unternehmens-CA sowohl im Container des IDE Services Servers als auch in den Betriebssystemen der Entwickler-Clients als vertrauenswürdig hinterlegt ist. Andernfalls scheitern TLS-Prüfungen und blockieren das Streaming der Chat-Antworten.

GPU-Dimensionierung und Laststeuerung

Chat-Anfragen aus Entwicklerumgebungen enthalten oft umfangreiche Dateiauszüge und Syntaxbäume, wodurch Prompts schnell mehrere tausend Tokens umfassen.

• Nutzen Sie in vLLM Funktionen wie PagedAttention, Continuous Batching und Chunked Prefill, um auch bei Lastspitzen eine niedrige Time-to-First-Token (TTFT) zu gewährleisten.
• Setzen Sie im IDE Services Menü klare Grenzwerte für maximale Eingabe-Tokens, um Speichermangel (Out-of-Memory, OOM) auf den GPUs zu vermeiden.

Zentrales API-Gateway und Revisionssicherheit

Schalten Sie ein internes API-Gateway (wie Envoy, Kong oder Nginx) zwischen IDE Services und die Inferenzknoten. Protokollieren Sie dort Zeitstempel, Benutzerkennungen und Token-Verbrauch. Dadurch erfüllen Sie die lückenlosen Nachweispflichten von Prüfungs- und Aufsichtsbehörden.

Die Kombination aus JetBrains IDE Services, JetBrains AI Enterprise und selbst gehosteten OpenAI-kompatiblen Inferenzmodellen ermöglicht es Unternehmen, moderne KI-gestützte Entwicklungsproduktivität voll auszuschöpfen und gleichzeitig die uneingeschränkte Hoheit über den eigenen Programmcode zu wahren.

Referenzen

• AI Enterprise in isolated infrastructure | IDE Services Documentation
• Manage AI Enterprise | IDE Services Documentation
• JetBrains Mellum | IDE Services Documentation
• Profiles | IDE Services Documentation
• User Guide: Connect to IDE Services Server | IDE Services Documentation