廣告位招商中 歡迎洽談

macOS 開發者如何配置 Raycast AI 與 Ollama 運行本地離線大模型

365Finds Editorial
已收錄 11,430 篇 Wiki 文章

讓你的 AI 用上 365 Wiki

複製下方的提示詞,貼給你常用的 AI,然後直接提問。

下載完整版 Skill

先用提示詞體驗;經常使用時,安裝完整版 365Wiki Skill,以後無需重複複製。沒有常用 AI?Gemini、Microsoft Copilot 等網頁版也可以。

365Wiki Skill

在嚴格注重程式碼合規、企業智慧財產權與保密協定(NDA)的研發環境中,將商業原始碼或系統架構細節上傳至雲端閉源大型語言模型(如 OpenAI GPT-4o 或 Anthropic Claude 3.5 Sonnet)往往受到企業資安規章的嚴格禁止。然而,若全面放棄鍵盤驅動的桌面 AI 捷徑,日常編程中的程式碼重構、單元測試補全與 Git Commit 整理效率將大幅下滑。

透過在 macOS 本地運行開源模型執行環境 Ollama,並直接與 Raycast AI 原生介面串接,開發者能建立一套「零雲端外傳、完全離線」的桌面原生 AI 效率中樞。Raycast 提供流暢的全域鍵盤呼叫體驗(包含 Quick AI、AI Chat 與自訂 AI Commands),而 Ollama 則完整調用 Apple Silicon 的統一記憶體架構(UMA)與 Metal 硬體加速,在 Mac 本機完成所有模型推論,達成兼顧資安合規與極致效率的工作流。


架構與隱私邊界:確保資料零雲端外洩

通過企業資安審查的關鍵在於釐清 Raycast 串接 Ollama 時的底層通訊架構:


硬體規格與推薦編程模型選型

本地模型推論速度與系統穩定度取決於 Mac 的統一記憶體容量。為了在同時開啟 Xcode、VS Code 與 Docker 等重度開發環境下維持流暢度,建議依照記憶體容量選用適配的模型規模:

統一記憶體規格推薦模型組合量化版本與記憶體佔用開發應用情境與優勢
16 GBqwen2.5-coder:7b;llama3.1:8b;mistral:7bQ4_K_M(約佔用 4.7 GB - 5.2 GB)快速單行程式碼解析、正規表示式生成、函數註解補全、Git Commit 訊息產出;幾乎不佔用系統主要記憶體。
32 GB - 36 GBqwen2.5-coder:14b;deepseek-coder-v2:16b;gemma2:9bQ4_K_M / Q5_K_M(約佔用 9 GB - 11 GB)高精準度程式碼重構、跨檔案單元測試撰寫、系統架構問答、複雜 Shell/Python 腳本推理。
64 GB - 128 GB+qwen2.5-coder:32b;llama3.3:70b(64GB+ 可跑 Q4);codellama:34bQ4_K_M / Q8_0(約佔用 20 GB - 42 GB)深度原始碼資安審計、記憶體洩漏與漏洞排查、演算法設計,推論品質高度逼近頂級雲端模型。

上下文長度限制:Raycast 針對本地模型設定了 64k tokens 的上限,藉此避免本地顯示記憶體耗盡並確保低延遲的串流生成反應。


逐步配置指引

步驟一:安裝 Ollama 並下載本地程式模型

在 macOS 上建議透過 Homebrew 或官方安裝套件部署 Ollama:

# 選項 A:使用 Homebrew 安裝
brew install --cask ollama

# 選項 B:至 ollama.com 下載 DMG 檔案並拖曳至 Applications 資料夾

安裝後於應用程式中啟動一次 Ollama,確認選單列常駐圖示正常出現,且系統命令列環境變數已連結。

接著開啟 macOS 終端機(Terminal)拉取合適的編程模型:

# 下載主流開源編程模型
ollama pull qwen2.5-coder:7b
ollama pull llama3.1:8b

# 檢視已安裝模型列表
ollama list

可以在終端機中測試模型是否能於本機順暢回應:

ollama run qwen2.5-coder:7b "請撰寫一個計算移動平均線的 Python 函數"

步驟二:於 Raycast AI 設定中啟用並同步本地模型

Raycast 原生支援 Ollama 本地模型(該第一方整合功能提供給 Raycast Pro 訂閱用戶):

  1. 按下 ⌥ Space(或你的全域喚醒快捷鍵)開啟 Raycast。
  2. 按下 ⌘ , 開啟 Raycast Settings(偏好設定)。
  3. 切換至頂部 AI 分頁。
  4. 點選 Models & Providers 並向下滾動至 Local Models(本地模型)區塊。
  5. Raycast 會自動辨識本機的 Ollama 服務。若清單中尚未出現剛下載的模型,點選 Sync Models(同步模型)。
  6. 你也能直接在 Raycast 中輸入模型名稱下載:於 Install Ollama Model 欄位填入模型標籤(例如 qwen2.5-coder:7b),點選 Install 即可。

備註:當你呼叫本地模型時,Raycast 會在背景自動喚醒 Ollama 服務,平時無須保持終端機視窗開啟。

步驟三:配置區域網路遠端 Ollama 伺服器(進階選配)

若團隊在公司內部網路中架設了專用的高效能 Mac Studio 或 Linux GPU 運算伺服器:

  1. 確保遠端伺服器的 Ollama 綁定內網 IP(設定環境變數 OLLAMA_HOST=0.0.0.0:11434)。
  2. 在 Raycast 的 Settings → AI → Models & Providers → Local Models 中找到 Ollama Host。
  3. 輸入內部網路位址,例如 http://192.168.1.50:11434。
  4. 點擊 Sync Models。往後的推論將由專用伺服器分擔運算,且流量依然維持在內網,無須經過公網傳輸。

資安防護:企業合規查核清單

為確保高度敏感的企業機密代碼在任何情況下皆不外洩,請落實以下 Raycast 設定檢查:

  1. 關閉 AI 對話雲端同步(Cloud Sync):
    • 進入 Raycast Settings → Cloud Sync。
    • 啟動雲端同步時,Raycast 會將剪貼簿與 AI 對話記錄加密同步至雲端。若企業安全規章嚴格禁止將敏感專案對話存於第三方雲端,請停用針對 AI 的 Cloud Sync,或養成定期清除歷史紀錄的習慣。
  2. 停用 AI 記憶與個人化功能(AI Memory):
    • 前往 Settings → AI → Personalization,檢查 Memory 設定。
    • 全域記憶功能開啟時,系統會在背景對近期對話進行重點提煉;此摘要動作有時會調用雲端託管模型。在要求完全實體隔離(Air-gapped)的專案環境下,務必關閉 Memory。
  3. 避免調用雲端專屬工具:
    • Raycast 中的部分特殊擴充功能(如 AI 影像生成)屬於雲端伺服器運算,需連網並耗費點數。日常開發請專注於純文字與程式碼處理。
  4. 切勿隨意送出除錯回饋(Send Feedback):
    • 當模型運算發生錯誤時,避免在包含機密程式碼的視窗中點擊回饋回報,因除錯日誌會將對話上下文傳送至 Raycast 技術支援端。

提升開發效能:自訂 AI 指令(AI Commands)實戰

完成設定後,開發者可將本地模型與日常編程快捷動作深度結合:

1. 本地安全 AI 對話視窗

按下 ⌘ ⌥ Space 喚起 AI Chat,於底部的模型選擇器中將預設模型切換為本機模型(例如 Local: qwen2.5-coder:7b)。此時貼上內部未公開的資料庫結構、API 金鑰範例或錯誤堆疊追蹤,均完全在本機運算。

2. 建立常用開發 AI 命令(Custom AI Commands)

前往 Raycast Settings → Extensions → AI → AI Commands,點選 Create AI Command 建立系統級動作:


免費版使用者的替代途徑:社群擴充套件

Raycast 原生偏好設定中的 Local Models 功能需訂閱 Raycast Pro。若你使用的是 Raycast 免費版本,仍可透過 Raycast Store 的開源社群套件串接本機 Ollama:

  1. 開啟 Raycast 搜尋並進入 Store。
  2. 搜尋 Ollama AI 擴充套件並進行安裝。
  3. 進入擴充套件設定,將 API 伺服器端點設為 http://localhost:11434。
  4. 使用擴充套件提供的 Ollama Chat 或文字轉換指令。雖然無法直接整合進全域 Quick AI 快捷彈窗,但背後的資料傳輸依然 100% 留存在本機,提供同等水準的隱私保護。

常見問題排查(Troubleshooting)


參考資料