企業管理員如何設定 JetBrains AI Enterprise 將 Chat 請求路由至內部部署 OpenAI 相容模型

在金融、國防、醫療與關鍵基礎設施等高度合規產業中，企業在導入 AI 輔助開發工具時，面臨著嚴格的資料治理法規限制。GDPR、PCI-DSS 以及各類資料外洩防護（DLP）法規均明文禁止將專屬原始碼與核心業務邏輯傳輸至公有雲多租戶 AI 服務（例如雲端託管的 OpenAI 或 Anthropic Claude）。

針對這項導入瓶頸，JetBrains 推出了企業級解決方案——JetBrains AI Enterprise，該模組由企業集中管控平台 JetBrains IDE Services 統一管理。透過在內部隔離或實體隔離（Air-Gapped）網路中部署 IDE Services，企業管理員能夠集中設定內部建置的 OpenAI 相容端點（例如由 vLLM、llama.cpp、LM Studio 或內部模型閘道支援的開源大模型），將開發團隊在 JetBrains AI Assistant 中的 Chat 提問與互動請求完全收斂於企業內部網路。

本指南將詳盡說明如何在 JetBrains IDE Services 中配置內部部署的 OpenAI 相容端點、下發企業設定檔（Profiles）以及落實安全邊界防護，打造原始碼完全隔離的私有化 AI 開發樞紐。

架構分工：AI Chat 互動與程式碼補全的分流機制

在進行系統設定前，管理員必須先釐清 JetBrains AI 在企業環境中的功能分流架構：

1. 互動式 AI Chat 與上下文操作：包含程式碼解說、重構建議、單元測試產生與 Git Commit 訊息撰寫等。此類功能透過標準 OpenAI 相容 HTTP 協定（/v1/chat/completions）與模型通訊。企業管理員可將其完整導向內部自建的開源推論叢集（例如執行 Qwen 2.5 Coder、Llama 3.3 或 DeepSeek Coder 的 GPU 節點）。
2. 原生行內程式碼自動補全：行內單行與多行程式碼補全對推論延遲有著極為嚴格的要求。在實體隔離環境中，JetBrains AI Enterprise 透過內部部署的 JetBrains Mellum 專屬補全引擎提供支援。Mellum 需建置於企業內部的專用 NVIDIA GPU 伺服器（建議採用 L40、H100 或 H200）。

結合內部自建的 OpenAI 相容端點（負責 Chat 對話）與私有化部署的 Mellum 引擎（負責程式碼補全），企業即可在完全封閉的內網架構下，提供完整的 AI 輔助編程體驗，徹底消除原始碼外洩疑慮。

前置條件與環境準備

在進入 JetBrains IDE Services 管理後台進行設定前，請確認以下基礎設施已就緒：

• JetBrains IDE Services 伺服器：已於企業內部網路部署完成（透過 Kubernetes Helm Chart 或 Docker 容器），並配置受信任的內部專用 TLS 憑證。
• AI Enterprise 授權啟用：已於企業的 JetBrains Account 與 IDE Services 執行個體的「License & Activation」頁籤中啟用 AI Enterprise 模組。
• 內部部署 OpenAI 相容推論叢集：內部推論服務已正常運作，並對外提供標準 OpenAI 格式端點（例如 http://vllm-cluster.internal:8000/v1 或內部閘道 https://ai-gateway.corp.internal/v1）。
  • 推論後端可為 vLLM、llama.cpp、LM Studio 或自建 API 代理。
  • 端點必須完整支援 /v1/chat/completions 請求與回應結構。
  • 模型分詞器（Tokenizer）已正確配置對應的對話樣板（Chat Template）。
• 用戶端環境需求：開發者電腦已安裝 JetBrains Toolbox App（版本 2.5.1 或更新版本），並已連線至企業 IDE Services 伺服器。

步驟一：部署並驗證內部 OpenAI 相容推論服務

確認內部推論叢集具備高可用性，且網路策略允許 IDE Services 伺服器存取。以使用 vLLM 部署企業程式碼模型為例：

vllm serve Qwen/Qwen2.5-Coder-32B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --dtype auto \
  --tensor-parallel-size 2 \
  --api-key corp-internal-secret-token \
  --chat-template /path/to/chat_template.jinja

在 IDE Services 主機或內網測試機上發送健康檢查與對話請求，驗證端點連線能力：

curl -X POST https://ai-gateway.corp.internal/v1/chat/completions \
  -H "Authorization: Bearer corp-internal-secret-token" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-Coder-32B-Instruct",
    "messages": [{"role": "user", "content": "Ping"}]
  }'

收到正確的 JSON 格式回應後，即可確認內部推論服務已準備就緒。

步驟二：在 IDE Services 中新增 OpenAI Compatible 提供者

所有模型提供者設定均透過 JetBrains IDE Services 管理介面集中維護：

1. 使用管理員帳號登入 JetBrains IDE Services Web UI。
2. 在左側導覽列中前往 Configuration（設定），並切換至 License & Activation（授權與啟用）頁籤。
3. 向下捲動至 AI Enterprise 區塊，點擊 Settings（設定）。
4. 切換至 AI Providers（AI 提供者）頁籤。
5. 點擊 Add provider（新增提供者），並從選單中選擇 OpenAI Compatible。
6. 在彈出的設定對話框中填入必要資訊：
   • Endpoint（端點 URL）：填入內部模型閘道或推論伺服器的 Base URL（例如 https://ai-gateway.corp.internal/v1 或 http://vllm.internal:8000/v1）。請勿在結尾附加 /chat/completions，IDE 用戶端發出請求時會自動組合標準 API 路徑。
   • Authentication / API Key（驗證金鑰）：輸入內部閘道所要求的 Bearer Token 或通行金鑰。若內部閘道採用自訂標頭驗證，請在自訂 Header 欄位填入名稱與數值。
   • Model Name（模型名稱）：輸入推論後端對應的模型識別碼（例如 Qwen/Qwen2.5-Coder-32B-Instruct 或 meta-llama/Llama-3.3-70B-Instruct）。
   • Tokens（Token 限制）：依據企業內部硬體 VRAM 容量與模型規格，合理設定 Max input tokens（最大輸入 Token 數）與 Max output tokens（最大輸出 Token 數）。
7. 點擊 Test connection（測試連線），系統將向內部端點發送連線握手測試，確認網路路由與權杖驗證正常。
8. 測試成功後點擊 Save（儲存）完成設定。

步驟三：指定預設提供者與存取限制

為確保組織內部開發流量不會誤流至外部公網，管理員應將內部模型指定為全局預設提供者：

1. 在 AI Providers 列表中，找到剛建立的 OpenAI 相容提供者。
2. 將其設定為 Default（預設提供者）。
3. 檢查列表中是否啟用了外部公有雲服務（如預設的 JetBrains AI 或 OpenAI Platform），並取消其預設勾選或予以停用。請注意：系統規定若 JetBrains AI 被選為預設，必須是唯一的預設提供者；若要將自建的自訂提供者設為預設，必須先取消 JetBrains AI 的預設狀態。
4. 若企業內部亦建置了 JetBrains Mellum 程式碼補全叢集，請切換至 Code Completion 標籤，將補全引擎明確指向內部自建的 Mellum。
5. 點擊 Save 儲存全局偏好設定。

步驟四：在 Profiles（設定檔）中套用與派送權限

JetBrains IDE Services 透過 Profiles 功能，集中派發 IDE 版本、外掛清單、團隊規範以及 AI Enterprise 存取權限：

1. 在 IDE Services Web UI 中導覽至 Profiles（設定檔）頁面。
2. 點擊目標研發團隊的設定檔（例如 Core Development Profile）或建立新設定檔。
3. 於設定檔詳細項目中找到 AI Enterprise 模組。
4. 確認該設定檔已啟用 AI Enterprise 功能。
5. 在提供者選擇欄位中，選取 Default provider（即剛才指定的內部 OpenAI 相容模型）。
6. 將該設定檔指派給相應的使用者群組，或設為組織內全體成員的預設設定檔。
7. 點擊 Save changes（儲存變更）生效。

步驟五：驗證開發者端實際體驗與安全鎖定

管理員派發設定檔後，開發端電腦會自動完成原則同步，工程師無須手動輸入任何連線資訊：

1. Toolbox App 企業連線：開發者啟動 JetBrains Toolbox App，透過邀請連結或企業 SSO 認證登入企業 IDE Services 伺服器。
2. 自動下發設定：Toolbox App 切換至 Enterprise 模式，自動將指派的設定檔套用至本地安裝的 IDE（如 IntelliJ IDEA、PyCharm 等），並自動安裝啟用 AI Assistant 外掛。
3. AI Chat 互動驗證：
   • 開發者在 IDE 工具視窗中開啟 AI Assistant。
   • 聊天視窗預設連線至企業內部推論端點，開發者可直接針對本機專案進行提問、除錯分析、生成測試案例或整理函式文件。
   • 所有傳送的程式碼切片與上下文資料，均在企業內網專用通道內傳輸，完全不接觸外部網際網路。
4. 安全設定鎖定：在 IDE 的 Settings | Tools | AI Assistant | Providers & API keys（設定 | 工具 | AI Assistant | 提供者與 API 金鑰）選單中，個別 Bring Your Own Key（BYOK）與未受允許的第三方模型輸入已被企業原則強制關閉，徹底杜絕開發者自行串接公網模型的合規風險。

企業維運與架構最佳實踐

在正式生產環境大規模運作時，建議管理員掌握以下架構與安全關鍵：

內部 CA 憑證鏈配置

在實體隔離環境中，內部模型端點通常使用內部私有 CA 簽發的 SSL/TLS 憑證。請確保將企業根憑證（Root CA）同時匯入 IDE Services 容器環境與開發者的作業系統憑證信任庫中，避免因憑證不信任而造成串流連線失敗。

推論節點顯存控制與並行容量

IDE 的 Chat 互動往往伴隨跨檔案上下文與專案語法樹資訊，整體 Prompt 長度較長。

• 採用 vLLM 等推論引擎時，建議開啟 PagedAttention、連續批處理（Continuous Batching）與分塊預填（Chunked Prefill），確保高並行時的首字延遲與吞吐量。
• 在 IDE Services 中嚴格限制最大輸入 Token 數量，防止單一大型提問消耗過多顯存造成節點 OOM。

稽核日誌與私有網關整合

建議在 IDE Services 與內部推論伺服器之間串接統一的 API 閘道（例如 Envoy、Kong 或 Nginx）。閘道負責記錄每筆 AI 請求的呼叫者帳號、時間戳記、Token 消耗量與回應狀態，同時過濾外部遙測回傳，確保完全符合金融、軍工等產業的高規格稽核規範。

透過 JetBrains IDE Services 將 JetBrains AI Enterprise 與內部部署的 OpenAI 相容模型深度整合，企業在確保智慧輔助研發效益最大化的同時，亦能穩固守住核心智慧財產與原始碼資產的最高合規防線。

參考資料

• AI Enterprise in isolated infrastructure | IDE Services Documentation
• Manage AI Enterprise | IDE Services Documentation
• JetBrains Mellum | IDE Services Documentation
• Profiles | IDE Services Documentation
• User Guide: Connect to IDE Services Server | IDE Services Documentation