如何使用 Ollama 与 LM Studio 在本地部署运行 DeepSeek 模型实现离线推理

对于处理专有代码的软件工程师，以及管理敏感商业或个人隐私数据的用户而言，将 Prompt 和数据上传至第三方云端 API 往往存在合规与泄露风险。在本地运行 DeepSeek 开源模型，能够实现完全的数据自主可控：零网络外联、无按 Token 计费成本，且完全摆脱对外部云端基础设施的依赖。

借助 Ollama 与 LM Studio，开发者与隐私敏感用户可以在消费级硬件上独立运行 DeepSeek 推理与编程模型。模型权重在下载或侧载完成后，均可在完全断网的离线环境中稳定工作。本文将系统梳理硬件选型要求、离线部署验证流程、本地 OpenAI 兼容服务器搭建方法，以及官方推荐的推理参数配置。

一、根据硬件配置选择合适的 DeepSeek 模型

DeepSeek-R1 家族包括完整的 6710 亿参数（671B）MoE 架构主模型，以及基于 Qwen 2.5 和 Llama 3 蒸馏的 6 个密集型（Dense）模型。完整版 671B 模型需要多卡企业级集群或大内存统一内存工作站（如 512GB 内存的 Mac Studio），而蒸馏模型则针对消费级 PC、笔记本及单张显卡进行了深度优化。

此外，针对高强度代码辅助场景，DeepSeek-Coder-V2 也提供了 16B 规格的轻量 MoE 模型，适合各类研发工作机。

对于多数软件研发与日常逻辑分析任务，DeepSeek-R1-Distill-Qwen-14B 与 DeepSeek-R1-Distill-Qwen-32B 在推理深度与硬件开销之间展现出了极佳的平衡。

二、使用 Ollama 部署与运行 DeepSeek

Ollama 是一款极简的高性能命令行运行时，适合后台守护进程常驻、终端自动化脚本以及与各类 IDE 编码插件集成。

1. 安装 Ollama

根据当前操作系统下载对应的安装包：

• macOS： 官网下载压缩包解压后拖拽至“应用程序”文件夹。
• Windows： 下载并运行 OllamaSetup.exe 安装向导。
• Linux： 在终端执行官方安装脚本：

  curl -fsSL https://ollama.com/install.sh | sh
  

2. 拉取并启动模型

在联网环境下执行以下命令下载并运行指定模型：

# 下载并启动 8B 模型的终端交互会话
ollama run deepseek-r1:8b

# 或部署高精度的 14B / 32B 规格
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b

Ollama 会自动检测环境中的计算加速设备（如 NVIDIA CUDA、Apple Metal 或 AMD ROCm），分配显存并将模型权重加载就绪。

3. 验证纯离线推理

为验证推理过程完全不需要网络支持：

1. 断开计算机的 Wi-Fi 连接或拔掉物理网线。
2. 在终端重新输入命令：

   ollama run deepseek-r1:8b
   

由于模型权重与配置文件均已持久化在本地缓存目录（Linux/macOS 位于 ~/.ollama/models，Windows 位于 %USERPROFILE%\.ollama\models），Ollama 无需向任何外部服务器验证即可顺畅输出。

4. 离线物理隔离（Air-Gapped）环境迁移

在高度保密且完全不通外网的内网工作站中：

1. 先在联网设备上运行 ollama pull deepseek-r1:14b 下载权重。
2. 找到由环境变量 OLLAMA_MODELS 指定的模型存储目录（或默认的 ~/.ollama/models）。
3. 将该目录完整拷贝至合规的加密移动硬盘中。
4. 复制到离线设备对应的存储路径下，执行 ollama list 即可看到已成功导入的模型。

5. 调整上下文窗口（Context Window）

Ollama 默认分配的上下文窗口长度为 4096 tokens。在处理长代码文件或长文本时，可按需调大：

• 在命令行交互中设置：

  /set parameter num_ctx 16384
  

• 在后台服务启动时设置：

  OLLAMA_CONTEXT_LENGTH=16384 ollama serve
  

6. 调用本地开发者接口

Ollama 默认在 11434 端口暴露 RESTful API 与 OpenAI 兼容接口。

使用 cURL 测试接口

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "messages": [
    {"role": "user", "content": "请用 Go 语言编写一个安全的并发缓存组件。"}
  ],
  "stream": false
}'

使用 Python 调用本地模型

from ollama import chat

response = chat(
    model="deepseek-r1:8b",
    messages=[
        {
            "role": "user",
            "content": "请分析 Python 中 GIL 对多线程 CPU 密集型任务的影响，并给出替代方案。",
        }
    ],
    options={
        "temperature": 0.6,
    },
)

print(response.message.content)

开发者还可以在 VS Code 或 JetBrains IDE 中配置 Continue.dev、Aider 或 Claude Code 等插件，将基础地址直接指向 http://localhost:11434/v1，实现完全脱网的代码自动补全与重构。

三、使用 LM Studio 部署与运行 DeepSeek

LM Studio 提供直观的可视化桌面体验，支持精确的 GPU 显存层数切分调节、多模型对比测试以及开箱即用的本地接口服务。

1. 安装 LM Studio

访问官方网站，下载适用于 macOS（支持 Apple Silicon M1–M4）、Windows（x64 / Snapdragon ARM）或 Linux（AppImage 格式）的安装包，按提示完成安装。

2. 搜索与下载 DeepSeek 模型

1. 打开 LM Studio，点击左侧导航栏的 Discover（放大镜图标）。
2. 在搜索框中输入 deepseek-r1 或 deepseek-coder。
3. 系统将列出由社区打包的各类 GGUF 量化版本（如 Q4_K_M、Q5_K_M、Q8_0 等）。
4. 参考界面提示的硬件内存评估指标，选择适合自身显存容量的版本，点击 Download。

3. 离线手动导入（侧载 GGUF 文件）

若目标工作机处于隔离内网：

1. 在外网计算机上从 Hugging Face 下载所需的 DeepSeek .gguf 文件。
2. 在 LM Studio 切换至 My Models（文件夹图标）。
3. 将 .gguf 文件直接拖拽进 LM Studio 窗口，或复制至 ~/.cache/lm-studio/models 目录下。
4. 软件将自动识别模型架构并建立本地索引。

4. 显存分配与 GPU Layer Offload 优化

1. 点击进入 AI Chat 页面。
2. 在页面顶部点击 Select a model to load，选择刚下载或导入的 DeepSeek 模型。
3. 在右侧 Inference Parameters 面板中：
   • GPU Offload： 拖动滑块调整卸载至 GPU 显存的模型层数。显存充裕时可全量卸载（Max）；若显存有限（例如在 8GB 显卡上加载 14B 模型），可设置部分层数由 GPU 运算，其余由系统内存（CPU）分担。
   • Context Length： 根据实际显存余量调整上下文长度滑块。

5. 启动本地 OpenAI 兼容开发者服务

将 LM Studio 作为本地 API 服务器供其他程序调用：

1. 点击左侧工具栏的 Developer（代码终端图标）。
2. 开启 Start Server 开关。
3. 服务默认监听 http://localhost:1234/v1。

使用 OpenAI Python SDK 进行本地调用

原有基于 OpenAI 官方 SDK 开发的业务脚本无需重写，仅需修改基础路径：

from openai import OpenAI

# 基础 URL 指向本地 LM Studio 服务，数据绝不出网
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio 默认无需鉴权，填任意占位字符串即可
)

completion = client.chat.completions.create(
    model="deepseek-r1-distill-qwen-14b",
    messages=[
        {
            "role": "user",
            "content": "请检查以下 SQL 查询语句并优化索引设计：\nSELECT * FROM orders WHERE status = 1 ORDER BY created_at DESC;",
        }
    ],
    temperature=0.6,
)

print(completion.choices[0].message.content)

四、DeepSeek-R1 核心推理参数与思维链（Think）处理技巧

DeepSeek-R1 属于强推理思维链模型，在日常调用与工程接入时需注意以下关键实践：

1. 严格将 Temperature 控制在 0.6 附近

DeepSeek 团队官方建议将采样温度设置在 0.5 到 0.7 之间，官方基准评测推荐默认值为 0.6。若温度过高，模型极易产生幻觉或进入死循环；若温度设为 0，则会限制其内部思维链的探索深度。

2. 避免使用过长复杂的 System Prompt

与其他通用会话模型不同，DeepSeek-R1 的强化学习微调模式高度偏好直接在用户输入中提供指令。若强行塞入结构复杂的 System Prompt，反而容易扰乱思维链逻辑或引发无意义的重复输出。建议将角色设定、输出规范与任务约束全部合并写入 User Prompt 中。

3. 工程化处理 <think> 思维链标签

DeepSeek-R1 在输出最终答案前，会先在 <think>...</think> 标签内展示推导过程。

• 面向最终用户的前端业务： 可使用正则表达式过滤掉 <think> 标签及其包含的内容，仅呈现最终结论。
• 代码审查与复杂逻辑排查： 建议保留思维链全流程，以便审计模型在步骤推导过程中的边界条件与假设。

五、Ollama 与 LM Studio 选型决策矩阵

选型总结：

• 偏好轻量后台常驻、终端自动化流、Docker 容器化部署或深度集成至开发环境的代码辅助时，首选 Ollama。
• 偏好直观可视化界面、需要精细控制 GPU 显存切分层数、频繁对比不同量化版本或直接与本地私有文档对话时，首选 LM Studio。

参考资料

• deepseek-r1
• Offline Operation | LM Studio
• System Requirements | LM Studio
• LM Studio Developer Docs | LM Studio
• FAQ
• DeepSeek-R1