在趨動云上使用xinference部署大模型 原創
前言
本文將介紹如何在趨動云平臺上使用xinference部署對話模型、向量化模型以及多模態模型。
xinference簡介
xinference官網
官網說明：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html
xinference可以部署的模型類別
- chat對話模型
- embedding向量化模型
- rerank模型
- vl-chat多模態模型
環境準備
選擇鏡像
- 選擇鏡像環境
安裝xinference
xinference支持的引擎有：
- transformers
- vllm
- llama.cpp
- SGlong引擎 .....
本篇文章，我們嘗試使用transformers引擎，部署Qwen2-0.5B-Instruct對話模型。
# 安裝transformers引擎
pip install "xinference[transformers]"
# 安裝sentence-transformers
pip install sentence-transformers部署chat對話模型
下載模型
切換至??/gemini/code??目錄下，下載模型：
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git注意事項： 此處也可以在啟動項目時，選擇模型加載，在趨動云的公共模型中選擇?
?Qwen2.5-0.5B-Instruct??模型。
啟動xinference
1. 在命令行中啟動??supervisor??? 進程：??xinference-supervisor -H 0.0.0.0??運行結果：
2. 新建一個terminal，啟動??Worker??? 進程：??xinference-worker -e http://127.0.0.1:9997 -H 0.0.0.0??運行結果：
此處的?
?9997??應該與supervisor啟動時指定的端口一致。
端口映射
在趨動云控制臺的右側"端口"，添加端口映射如下：
啟動對話模型
瀏覽器訪問http://direct.virtaicloud.com:40336
?
?http://direct.virtaicloud.com:40336??是上一步端口映射后，趨動云提供的外網訪問地址。
在??language models???選擇??chat???模型，并搜索??qwen2.5??模型
使用pwd命令獲取趨動云上已下載Qwen模型的的絕對路徑
配置模型必選參數
注意事項： 因為我們下載的模型為Qwen2.5-0.5B-Instruct，所以?
?Model size???為??0_5??，此處應根據實際情況選擇。
配置模型路徑
注意事項：
- Model path為上述第3步中獲取的模型在趨動云上的絕對路徑。
- Model UID用于后續調用使用，此處我們配置為?
?Qwen2.5-0.5B-Instruct??。如果不配置的話，會使用默認的Model UID,在后續調用時注意調用代碼中的傳參內容。
點擊啟動，稍后片刻，頁面會顯示啟動成功后的內容。
調用驗證
from openai importOpenAI
openai_api_key ="EMPTY"
openai_api_base ="http://direct.virtaicloud.com:40336/v1"
client =OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
model="Qwen2.5-0.5B-Instruct",
messages=[
{"role":"system","content":"你是一個很有用的助手。"},
{"role":"user","content":"中華人民共和國的首都是哪里？"},
]
)
print("Chat response:", chat_response)運行結果：
注意事項：
- 示例中，?
?openai_api_base??需要配置映射端口后的地址，讀者需要根據實際情況修改。- 示例中，?
?model="Qwen2.5-0.5B-Instruct"???要與在??xinference???中配置??Model UID??的內容一致。
部署chat對話模型(微調訓練過的)
下載模型
此處，我們在趨動云啟動時，選擇曾經微調的一個醫療大模型??Qwen2-7B-final??并加載。
備注說明： 該模型是之前我微調過的一個醫療大模型，具體微調過程請見【課程總結】day24（上）：大模型三階段訓練方法(LLaMa Factory)。
啟動模型
- 在Launch頁面，選擇?
?chat???并搜索??qwen2???，選擇??qwen2-instruct??。
2. 配置模型必選參數：
- 配置模型路徑：
注意事項：
- 該模型是基于?
?Qwen2-7B-instruct???微調的，所以??Model size???選擇??7_0??。- 該模型在趨動云上的絕對路徑為：?
?/gemini/pretrain/Qwen2-7B-final??。
- 點擊啟動，稍后片刻，頁面會顯示啟動成功后的內容。
調用驗證
from openai importOpenAI
openai_api_key ="EMPTY"
openai_api_base ="http://direct.virtaicloud.com:40336/v1"
client =OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
model="qwen2-instruct",
messages=[
{"role":"system","content":"你是一個很有用的助手。"},
{"role":"user","content":"我最近失眠比較厲害，請問應該如何診治？"},
]
)
print("Chat response:", chat_response)運行結果：
注意事項： 示例中， ?
?model="qwen2-instruct"???要與在??xinference???中配置??Model UID??的內容一致。
部署embeddign模型
- 前置步驟與部署chat模型的操作一致，只是配置Model UID和Model Path時 略有不同。
部署vl-chat多模態模型
前置步驟與部署chat模型的操作一致，此處不再贅述。
下載模型
此處，我們在趨動云啟動時，在模型廣場搜索??Qwen-VL-chat??并加載。
備注說明： 該模型是在趨動云模型廣場搜索的一個Qwen的多模態大模型。
啟動模型
- 在Launch頁面，選擇?
?vl-chat???并搜索??qwen??。
2. 配置模型必選參數：
3. 配置模型路徑：
注意事項： 該模型在趨動云上的絕對路徑為：?
?/gemini/pretrain2/Qwen-VL-Chat??。
- 點擊啟動，稍后片刻，頁面會顯示啟動成功后的內容。
調用驗證
from openai importOpenAI
import base64
# 配置OpenAI客戶端
openai_api_key ="EMPTY"
openai_api_base ="http://direct.virtaicloud.com:40336/v1"# 請根據實際端口映射地址修改
client =OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
def encode_image_to_base64(image_path):
"""將圖片轉換為base64編碼"""
withopen(image_path,"rb")as image_file:
return base64.b64encode(image_file.read()).decode('utf-8')
def chat_with_image(image_path, prompt):
"""與多模態模型對話"""
# 將圖片轉換為base64
base64_image = encode_image_to_base64(image_path)
messages=[
{
"role":"user",
"content":[
{"type":"text","text":prompt},
{
"type":"image_url",
"image_url":{
"url":f"data:image/png;base64,{base64_image}"
}
}
]
}
]
# 調用模型
# try:
response = client.chat.completions.create(
model="qwen-vl-chat",# 使用部署的多模態模型名稱
messages=messages,
max_tokens=1024,
temperature=0.7,
response_format={"type":"text"}# 指定響應格式為文本
)
return response.choices[0].message.content
# except Exception as e:
# return f"調用出錯: {str(e)}"
if __name__ =="__main__":
# 測試調用
image_path ="./腦部CT.png"# 替換為實際的圖片路徑
prompt ="這張圖片中有什么內容？請詳細描述。"
result = chat_with_image(image_path, prompt)
print("模型回復:", result)圖片：
運行結果：
常見問題
問題1：Qwen2-vl-chat模型部署后，調用時報錯：??ValueError: No chat template is set for this processor.???。 問題原因：查看Xinference的日志，提示不支持??Qwen2-vl??模型。
本文轉載自公眾號一起AI技術 作者：熱情的Dongming
