如何使用 Ollama 與 LM Studio 在本地部署運行 DeepSeek 模型實現離線推理

對於處理專屬原始碼的軟體工程師，以及管理機密商業資訊或高度私密資料的使用者而言，將提示詞與專案內容上傳至第三方雲端 API 往往存在合規與資料外洩的風險。在本地端運行 DeepSeek 開源模型，能實現完整的資料主權：零網路外傳、無依據 Token 的計費壓力，且完全免除對外部雲端伺服器的依賴。

透過 Ollama 與 LM Studio，開發者與重視隱私的使用者能夠在消費級硬體上獨立運行 DeepSeek 的推理與程式碼生成模型。模型權重在下載或手動匯入完成後，均可在完全斷網的環境下正常運作。本文將完整說明硬體規格評估、離線部署驗證步驟、本地端 OpenAI 相容伺服器設定方式，以及官方推薦的最佳化推理參數。

一、依據硬體規格挑選合適的 DeepSeek 模型

DeepSeek-R1 系列包含擁有 6710 億參數（671B）MoE 架構的完整旗艦模型，以及基於 Qwen 2.5 與 Llama 3 蒸餾微調的 6 款密集型（Dense）模型。完整版 671B 模型需依賴多張專業級 GPU 的伺服器叢集或超大統一記憶體工作站（例如 512GB 記憶體的 Mac Studio），而蒸餾版模型則可在一般個人電腦、筆記型電腦與消費級顯示卡上順暢運算。

此外，針對專業程式碼輔助需求，DeepSeek-Coder-V2 亦提供 16B 規格的輕量級 MoE 模型，十分適合開發者工作機。

對於多數軟體開發與邏輯推理需求，DeepSeek-R1-Distill-Qwen-14B 與 DeepSeek-R1-Distill-Qwen-32B 在推理品質與硬體需求間達到了極具實用價值的黃金平衡。

二、使用 Ollama 部署與運行 DeepSeek

Ollama 是一款輕巧高效的命令列執行環境，特別適合常駐後台守護行程、終端機自動化流程以及各類 IDE 程式碼生成外掛的串接。

1. 安裝 Ollama

依作業系統下載相應的安裝檔：

• macOS： 自官網下載壓縮檔後，解壓縮並將 Ollama 拖曳至「應用程式」檔案夾。
• Windows： 下載並執行 OllamaSetup.exe 安裝精靈。
• Linux： 在終端機執行官方安裝腳本：

  curl -fsSL https://ollama.com/install.sh | sh
  

2. 下載並啟動模型

在連線狀態下執行以下指令，下載並啟動指定的 DeepSeek 模型：

# 下載並開啟 8B 模型的終端機互動工作階段
ollama run deepseek-r1:8b

# 或部署高精度的 14B / 32B 規格
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b

Ollama 會自動偵測系統中的硬體加速能力（包含 NVIDIA CUDA、Apple Metal 或 AMD ROCm），配置顯存並載入模型權重。

3. 驗證純離線推理運作

確認模型在完全不具備網路環境時仍可運作：

1. 關閉電腦的 Wi-Fi 連線或拔除實體網路線。
2. 於新開的終端機視窗中執行：

   ollama run deepseek-r1:8b
   

由於模型檔案完整保存在本地端快取路徑（Linux/macOS 預設為 ~/.ollama/models，Windows 為 %USERPROFILE%\.ollama\models），Ollama 不會向外發送任何網路請求即可完成推理。

4. 實體隔離（Air-Gapped）環境部署技巧

針對無法連線外網的高安全性內部網路環境：

1. 先於可連線外網的電腦上執行 ollama pull deepseek-r1:14b。
2. 找到環境變數 OLLAMA_MODELS 所指向的路徑（或預設的 ~/.ollama/models 目錄）。
3. 將該目錄完整複製至經核准的加密隨身硬碟中。
4. 貼上至隔離電腦對應的儲存目錄，執行 ollama list 即可確認模型已正確辨識。

5. 調整上下文長度（Context Window）

Ollama 預設設定的上下文長度為 4096 tokens。在處理長篇程式碼或龐大文件時可手動擴增：

• 於互動式命令列中動態設定：

  /set parameter num_ctx 16384
  

• 於後台服務啟動時設定：

  OLLAMA_CONTEXT_LENGTH=16384 ollama serve
  

6. 整合本機開發者 API

Ollama 預設於連接埠 11434 提供原生 RESTful 介面與 OpenAI 相容介面。

透過 cURL 呼叫本地服務

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "messages": [
    {"role": "user", "content": "請使用 Go 語言實作一個具備互斥鎖的安全並行快取機制。"}
  ],
  "stream": false
}'

透過 Python 官方 SDK 呼叫

from ollama import chat

response = chat(
    model="deepseek-r1:8b",
    messages=[
        {
            "role": "user",
            "content": "請分析 Python 中全域解譯器鎖（GIL）對多執行緒 CPU 密集型工作的影響，並列舉替代方案。",
        }
    ],
    options={
        "temperature": 0.6,
    },
)

print(response.message.content)

開發者亦可在 VS Code 或 JetBrains IDE 中安裝 Continue.dev、Aider 或 Claude Code 等外掛，將 Base URL 設為 http://localhost:11434/v1，即可進行完全免聯網的智慧程式碼補全。

三、使用 LM Studio 部署與運行 DeepSeek

LM Studio 提供清晰的圖形化介面，支援視覺化 GPU 顯存分層調節、多模型效能比較與一鍵啟動本地 API 伺服器。

1. 安裝 LM Studio

造訪官方網站，下載適用於 macOS（支援 Apple Silicon M1–M4）、Windows（x64 / Snapdragon ARM）或 Linux（AppImage 格式）的安裝程式，依照引導完成安裝。

2. 搜尋並下載 DeepSeek 模型

1. 開啟 LM Studio，點選左側選單的 Discover（放大鏡圖示）。
2. 在搜尋欄輸入 deepseek-r1 或 deepseek-coder。
3. 介面會列出開源社群封裝的各式 GGUF 量化版本（如 Q4_K_M、Q5_K_M、Q8_0 等）。
4. 參照右側的硬體記憶體預估指示，選擇符合目前硬體規格的版本，點選 Download。

3. 離線手動匯入（側載 GGUF 檔案）

若工作設備處於封閉網路：

1. 於外網電腦自 Hugging Face 下載所需的 DeepSeek .gguf 檔案。
2. 進入 LM Studio 的 My Models（資料夾圖示）。
3. 將 .gguf 檔案直接拖放至 LM Studio 視窗內，或存放至 ~/.cache/lm-studio/models 路徑。
4. 系統將自動解析模型架構並建立本地索引。

4. 調整 GPU Layer Offload 與硬體資源分配

1. 切換至 AI Chat 視窗。
2. 點選視窗上方的 Select a model to load，選取載入的 DeepSeek 模型。
3. 在右側的 Inference Parameters 控制面板中：
   • GPU Offload： 拖動拉桿調整載入至顯卡 VRAM 的神經網路層數。若顯存足夠可設為最大值（Max）；若顯存有限（如 8GB 顯示卡執行 14B 模型），可將部分運算層卸載至顯卡，其餘層交由系統 RAM（CPU）處理。
   • Context Length： 依顯存剩餘額度調節對應的上下文長度。

5. 啟動本地 OpenAI 相容開發伺服器

將 LM Studio 作為本機端通用 API 伺服器：

1. 點選左側選單的 Developer（程式碼括號圖示）。
2. 開啟 Start Server 切換開關。
3. 預設服務位址為 http://localhost:1234/v1。

使用 OpenAI Python SDK 本地串接

現有以 OpenAI 官方 SDK 撰寫的應用系統無需修改呼叫邏輯：

from openai import OpenAI

# 串接本地端 LM Studio 伺服器，資料全程不離開本機
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio 預設不驗證金鑰，填寫任意字串即可
)

completion = client.chat.completions.create(
    model="deepseek-r1-distill-qwen-14b",
    messages=[
        {
            "role": "user",
            "content": "請檢視以下 SQL 綱要定義並給出最佳化索引建議：\nCREATE TABLE logs (id BIGINT, app_id INT, message TEXT, created_at TIMESTAMP);",
        }
    ],
    temperature=0.6,
)

print(completion.choices[0].message.content)

四、DeepSeek-R1 關鍵參數調校與思考鏈（Think）處理要點

DeepSeek-R1 為高度仰賴強化學習探索的思維鏈模型，工程化使用時需遵循以下原則：

1. 將 Temperature 嚴格維持在 0.6

DeepSeek 團隊官方建議取樣溫度設定在 0.5 到 0.7 之間，官方測試基準均以 0.6 作為基準值。溫度設定過高會導致幻覺加劇或無限重複迴圈；若設為 0 則會壓抑思維鏈的推理廣度。

2. 避免加入繁複的 System Prompt

與傳統會話模型不同，DeepSeek-R1 在訓練階段已經過最佳化，偏好直接由使用者提示詞引導。注入過於繁瑣的 System Prompt 反而容易干擾內部的逐步推理機制，甚至引發死循環。建議將所有角色背景、規則與輸出格式要求一併寫入 User Prompt 中。

3. 正確解析 <think> 思維鏈標籤

DeepSeek-R1 在給出最終結論前，會在 <think>...</think> 區塊內完整輸出其推導思考過程。

• 終端使用者顯示： 若僅需乾淨的最終解答，可透過正規表示式移除 <think> 標籤及其包含的內容。
• 程式碼審查與演算法驗證： 建議保留完整的思維鏈內容，方便工程師驗證每一步推理假設與邊界處理。

五、Ollama 與 LM Studio 選型比較矩陣

選型建議：

• 需要輕量背景運算、自動化管線、Docker 容器化部署或直接作為編輯器輔助工具時，建議採用 Ollama。
• 重視視覺化控制面板、需要精確調整 GPU 顯存分層比例、經常測試各類 GGUF 檔案或需要直接解析本地文件時，建議採用 LM Studio。

參考資料

• deepseek-r1
• Offline Operation | LM Studio
• System Requirements | LM Studio
• LM Studio Developer Docs | LM Studio
• FAQ
• DeepSeek-R1