“ 學習大模型的本地部署能夠讓你對模型的運行流程更加了解，幫助你了解不同平臺和部署環境的優劣以及適用場景。”

在大模型應用中，本地部署模型可以說是一個非常重要的環節，特別是對一些數據安全性較高的企業；因為使用第三方模型服務，會存在數據泄露的問題，因此很多企業選擇本地部署模型。

而且很多企業在招人時，也會要求有大模型本地部署的經驗；所以，今天我們就來學習一些大模型的本地部署，使用ollama部署工具。

大模型的本地部署

關于大模型的部署問題，目前市場上有很多部署推理工具，如vllm，sglang，ollama，LLMStudio等等；不同的部署框架適合不同的應用場景，有些框架適合學習和小規模開發測試使用，如ollama，LLMStudio等；而有些適合企業級生成部署，如vllm，DeepSpeed等。

以我們今天使用的ollma框架為例，由于其小巧簡單，因此很適合學習和測試使用；并且，其提供了多種交互接口，包括命令行——cli，GUI和API接口。

官網地址如下：??https://ollama.com/??

并且，ollama支持多種系統平臺，如window，mac，linux等；直接選擇自己的系統平臺點擊下載即可。

下載之后直接啟動就是一個GUI的頁面，用戶可以在右下角選擇需要使用的模型，然后下載即可；當然也可以在命令行進行操作。

而ollama支持的模型，也可以點擊右上角的Models查看，里面支持大量 的模型。

搜索模型之后點擊進去就能看到模型具體的下載命令，可以根據自己需要的版本進行選擇:

由于作者的電腦沒有GPU，因此就選擇deepseek的小模型進行測試，ollama run命令會直接從ollama倉庫下載模型，當然用戶也可以自己手動下載之后直接啟動，這樣就不用等待下載時間了。

模型會在第一次加載時需要下載，如果已經下載過就不會在此下載；不過這里有一個注意點就是，由于模型較大，少則幾個G起步，多則幾十個G，上不封頂，因此一定要選擇一個大的磁盤才行。

ollama默認下載地址：C:\Users\用戶名\.ollama\models，用戶可以自行修改, 左上角選擇setting即可進入設置頁面:

當模型下載成功之后，就可以通過ollama ps命令查看運行中的模型。

前面講了ollama的基本使用和下載方式，但對于開發者來說，我們需要的是通過API來訪問模型，因此怎么使用API服務才是最重要的。

在ollama中封裝了模型的API服務，不需要我們編寫任何服務端代碼；

這個是ollama的api文檔: 

英文版: https://github.com/ollama/ollama/blob/main/docs/api.md

中文版: ??https://ollama.readthedocs.io/api/??

ollama的默認啟動地址是 http://localhost:11434，可以使用curl對接口進行測試：

curl http://localhost:11434/api/generate -d 
'{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

當然，也可以通過apifox等api測試工具進行測試，不過這里需要注意的一點是ollama默認啟動的api服務只能本地訪問，如果想通過網絡進行遠程訪問，在保證網絡通的前提下，還需要對ollama的環境進行配置。

環境變量配置： 

OLLAMA_HOST=0.0.0.0:11434

windows中ollama的環境變量配置和java sdk的配置相同;而mac和linux用戶可以自行搜索。

開發人員可以根據ollama提供的接口文檔，基于ollama做業務開發。

本文轉載自??AI探索時代?? 作者：DFires