軟件安裝

總共需要安裝三個軟件，分別為Ollama、Docker Desktop、Open WebUI

Ollama 介紹：Ollama 是一款開源工具，專注于簡化大型語言模型（LLM）在本地環境中的部署與運行。它支持多種主流模型（如 Llama 3、Mistral、Gemma 等），提供跨平臺兼容性（macOS/Linux/Windows），通過命令行實現快速安裝與交互。其核心優勢在于隱私保護（數據無需上傳云端）和可定制性，允許用戶微調模型參數或加載自定義模型。開發者和研究者可借助其輕量化設計及活躍社區資源，便捷地探索自然語言處理、內容生成等場景，尤其適合對數據安全敏感或需要離線使用的需求。項目還支持模型庫擴展與API集成，平衡了易用性和靈活性。

下載地址：https://ollama.com  根據你電腦的操作系統，下載合適的版本，安裝即可。

Docker Desktop 介紹：Docker Desktop 是一款專為開發者設計的桌面應用程序，提供本地化容器化開發環境，支持在 macOS、Windows 和 Linux 系統上無縫構建、運行及共享容器化應用。它通過簡化 Docker 引擎的配置與管理，集成 Kubernetes 集群、鏡像倉庫和網絡存儲工具，實現跨平臺環境的一致性部署。其可視化界面與命令行工具（CLI）結合，支持快速創建隔離的容器環境，助力開發、測試及調試微服務、云原生應用等場景。  

下載地址：https://docs.docker.com/desktop/  

根據你電腦的操作系統，下載合適的版本，安裝即可。

在Ollama、Docker Desktop安裝完成并運行之后，開始Open WebUI的安裝部署。

Open WebUI介紹：Open WebUI 是一款開源、可擴展且功能豐富的自托管 Web 用戶界面，專為本地化部署和運行大型語言模型（LLM）而設計。它支持多種 LLM 運行程序（如 Ollama 和 OpenAI 兼容的 API），并提供了類 ChatGPT 的交互體驗，同時強調隱私保護和離線操作能力。

下載地址：

https://github.com/open-webui/open-webui

把這段話復制到終端Terminal，進行open-webui鏡像下載

下載完成之后，打開Docker Desktop，點擊下圖所示的 ports

就可以在瀏覽器中看到ollma 的用戶界面了。

點擊左下角設置-模型，進行模型下載

由于我的mac 只有 16G內存，這里我選擇7b 的模型進行部署

復制模型名稱到這里，點擊右側下載按鈕就好

下載完成～ 就可以使用了

點擊新建對話

使用測試

測試一道簡單的高中數學題

開始思考～

得出答案～

給一道邏輯推理題：有五個人：甲、乙、丙、丁、戊。他們分別排在第一到第五的位置。根據以下的提示，判斷出他們的排序： 甲不在第一位。 乙在丙的前面。 丁在戊的后面。 丙不在最后一位。

我本地部署的 7b 推理模型花了 8 分鐘進行推理，后續又測試了一次，花了約 5 分鐘

于是同樣的問題我測試下官網的671b參數的，花了 86 秒～ 答案是一樣的

總結

在本地部署的話，還是需要好一點的硬件，我這 16G內存的 macbook 明顯不夠，推理不夠快。

看 deepseek 的推理過程有很多 Aha Moment（頓悟時刻），有種大模型產生了意識的感覺！

本文轉載自AI思與行，作者：cc