所有大模型封裝成統一API：快捷使用各種大模型
之前同事在部署大模型的時候，一直想怎么解決不同大模型部署之后，怎么提供統一的Api而苦惱。
我也在做大模型項目的時候，遇到這個問題。在之前一直是利用不同家的大模型自己去封裝協議。非常麻煩?。。?/p>
別急，今天介紹的這個 GitHub 開源項目滿足你我所有幻想：OneAPI，一款接口管理和分發神器，將所有大模型一鍵封裝成OpenAI協議。
傳送門：https://github.com/songquanpeng/one-api
話不多說，上實操！
1. 服務部署
作者了提供了源碼部署和 Docker 部署兩種方式，其中源碼部署需要分別構建前端和后端，相對麻煩一點。
接下來，就把 OneAPI 部署在這臺云服務器上，如果你用本地 Linux 虛擬機當然也沒問題。
因為本項目還依賴數據庫的服務，所以我們采用 docker-compose 的方式來進行部署，簡單幾步就能搞定，極大降低小白的部署門檻。
1.1 創建 docker-compose 文件
打開一個終端：
mkdir oneapi
cd oneapi/
touch docker-compose.yml把下述腳本復制到 docker-compose.yml 中：
version: '3.8'
services:
oneapi:
container_name: oneapi
image: justsong/one-api:latest
restart: unless-stopped
network_mode: bridge
ports:
- 13000:3000
volumes:
- ./data:/data
environment:
- TZ=Asia/Shanghai簡單介紹下上面幾個參數：
- version: 指定了Compose文件格式的版本，用于確保配置文件與Docker Compose的版本兼容，最新版docker-compose已不需要這個字段；
- services: 定義了應用程序中的服務，每個服務運行在獨立的容器中；
- image：鏡像地址，國內服務器用阿里云的鏡像會非?？?，海外服務器不建議用阿里云的鏡像；
- ports: 3001:3000 意味著容器內部的3000端口映射到宿主機的3001端口，用于防止宿主機端口沖突；
- volumes: ./mysql:/var/lib/mysql 意味著將本地的./mysql目錄掛載到容器的/var/lib/mysql目錄，用于數據持久化。
1.2 服務啟動
配置好 docker-compose.yml 文件后，采取如下命令一鍵啟動：
sudo docker-compose up -d等待拉取鏡像，終端出現如下提示，說明成功啟動：
[+] Running 3/3
? Network oneapi_default Created
? Container mysql Started
? Container oneapi Started2. OneAPI 登錄
還記得 OneAPI 的端口號不？3001！
因此，瀏覽器中的訪問地址應該是：http://IP:Port，例如：http://129.150.63.xxx:3001
但這時，上述地址是打不開的，還需要到服務器中把 3001/3306 端口的防火墻打開。防火墻打開后，上述地址就可以訪問了：
圖片
首先需要登錄，初始賬號名 root，密碼 123456，登錄后立即修改密碼。
圖片
登錄成功后，你會發現 Tab 頁多了幾個選項，這些只有超級管理員能看到：
圖片
接下來，我們一一了解下系統的幾個模塊。
2.1 用戶
首先我們看下用戶管理模塊，左下角可以新增用戶。
圖片
點擊右側編輯，可以發現用戶分組有三個。分組有什么用？假如你在這個系統中代理 10 種大模型并商業化，可以設定 VIP 可以使用其中的 2 種模型，而 SVIP 可以使用全部。如果自己玩，那隨意。
圖片
2.2 渠道
渠道用來管理和添加各個大模型廠商的 LLM。只有超級管理員才能設置。
在渠道管理中，左下角點擊添加新的渠道：
圖片
2.2.1 渠道添加
圖片
提交后，點擊右側測試，看看是否能夠調用成功。
圖片
再次，比如我們還要用Ollama部署的模型，添加則更加簡單根據配置就好了：
圖片
但是，要特別注意代理的地址：如果是Ollama記得用http://host.docker.internal:11434
2.2.2 渠道列表
其他廠商基本和上述一致，最后，給大家看下我的渠道列表：
圖片
2.3 令牌
這個模塊用于創建令牌，供客戶端或調用方使用，其作用跟 LLM的令牌（或密鑰）的作用是一樣的。點擊復制后，會顯示在上方搜索框。
圖片
當然也可以選擇添加新的令牌，如果僅僅是自用，可以設為無限額度，永不過期；如果是外發給其他人使用的，你可以給他設置一個限量:
圖片
有了令牌，就可以采用 OpenAI 協議的 API 調用了。
2.4 兌換 和 充值
這兩個模塊是為了商業化準備的。
兌換模塊，用于管理兌換碼，類似話費充值卡。
圖片
充值模塊，用于給賬戶充值，與兌換配合使用。輸入一個有效兌換碼，就相當于給當前賬戶充值對應的額度，用于供令牌調用消耗。
圖片
2.5 日志 和 設置
日志模塊，用于展示用戶充值和額度消耗記錄。
圖片
設置模板，包括個人設置、運營設置、系統設置和其他設置，整個系統的商業化功能還是挺完備的。
圖片
3. 總結
OneAPI 是一個開源項目，旨在幫助用戶將不同的大模型封裝成統一的 OpenAI 協議接口。它支持源碼部署和 Docker 部署，其中 Docker 部署更為簡便。
通過 docker-compose.yml 文件，可以快速啟動服務，包括數據庫和 OneAPI 本身。部署后，用戶可以通過設定的端口訪問 OneAPI 的 Web 界面，進行用戶管理、渠道管理、令牌創建等操作。OneAPI 還提供了商業化功能，如兌換碼管理和充值模塊，以及日志和設置模塊，以滿足不同用戶的需求。
通過 OneAPI，用戶可以輕松管理和調用多個大模型，無需為每個模型單獨封裝協議。
