“ 由于模型協(xié)議標(biāo)準(zhǔn)的問(wèn)題，因此不同的推理引擎對(duì)不同協(xié)議的支持程度也不同；這就本地部署中存在各種各樣的潛在問(wèn)題。”

對(duì)大模型應(yīng)用開(kāi)發(fā)者來(lái)說(shuō)，使用模型無(wú)非兩種方式，一種是使用第三方模型，另一種是自己本地部署模型；當(dāng)然個(gè)人學(xué)習(xí)者和小微企業(yè)更適合前者，而大型企業(yè)和對(duì)數(shù)據(jù)安全要求較高的企業(yè)適合后者。

但不管怎么說(shuō)，學(xué)習(xí)大模型的本地部署都是一個(gè)非常必要的技能；所以，今天我們就從技術(shù)的角度來(lái)學(xué)習(xí)一下本地模型本地部署存在的一些坑。

模型本地部署

從模型應(yīng)用開(kāi)發(fā)者的角度來(lái)說(shuō)，使用模型的本質(zhì)就是在調(diào)用模型接口；因此不論是使用第三方模型，還是自己本地部署模型都需要把模型封裝成接口使用。

而且在之前的文章中說(shuō)過(guò)，不同的模型廠商都會(huì)有一套自己的標(biāo)準(zhǔn)協(xié)議，只不過(guò)目前openai的協(xié)議幾乎成為了默認(rèn)的行業(yè)標(biāo)準(zhǔn)；因此很多廠商都兼容了openai的協(xié)議標(biāo)準(zhǔn)，但同時(shí)也保留了自己的標(biāo)準(zhǔn)。

因此，很多時(shí)候我們使用openai的標(biāo)準(zhǔn)可以使用大部分廠商的模型，但部分模型和功能我們會(huì)無(wú)法使用，原因是不支持。

而對(duì)本地部署來(lái)說(shuō)同樣如此，本地部署模型選擇框架需要考慮很多問(wèn)題，比如說(shuō)支持哪些模型，哪些版本，支持哪些參數(shù)，API有哪些功能，是否支持多并發(fā)等等。

其次，不同的模型推理框架支持不同的API和參數(shù)配置；比如說(shuō)使用ollama，vLLM，SGlang等；其默認(rèn)提供一些API接口，這時(shí)我們只需要通過(guò)其提供的下載工具，或者按照其要求下載對(duì)應(yīng)的模型文件即可。

而類(lèi)似于huggingface這種平臺(tái)，其社區(qū)版默認(rèn)不提供API的能力，我們?cè)谙螺d其模型之后，還需要使用API框架以及其提供的工具包封裝API，以供我們業(yè)務(wù)使用。

當(dāng)然，這種需要自己封裝API的方式有好有壞，好處是定制化更強(qiáng)，我們可以根據(jù)需要封裝我們的功能；但壞處也很明顯，需要我們自己維護(hù)系統(tǒng)，對(duì)技術(shù)要求更高，并且還需要專(zhuān)門(mén)的人員去維護(hù)和開(kāi)發(fā)模型功能。

在這里有一個(gè)需要注意的點(diǎn)就是，不同的推理框架支持的功能和參數(shù)都不一樣；以現(xiàn)在模型常見(jiàn)的thinking模式為例，現(xiàn)在很多模型都支持了思考模式，但對(duì)使用者來(lái)說(shuō)，我們有時(shí)候需要思考模式，而有時(shí)候不需要思考模式；因此，這時(shí)就需要有一個(gè)開(kāi)關(guān)來(lái)開(kāi)啟或關(guān)閉思考模式。

對(duì)模型廠商來(lái)說(shuō)，既然提供了思考模式，那么就肯定提供了思考模式的開(kāi)關(guān)；但對(duì)于推理框架來(lái)說(shuō)，雖然模型本身支持關(guān)閉思考模式，但推理框架可能并不支持此模式。

因此，這里就有一個(gè)問(wèn)題，在需要關(guān)閉或開(kāi)啟思考模式的時(shí)候，卻做不到。而這也是作者這兩天遇到的問(wèn)題，公司部署的模型支持思考模式的開(kāi)啟和關(guān)閉，但在具體的應(yīng)用場(chǎng)景中我卻并不需要這個(gè)思考模式，但又關(guān)不掉，原因就是推理框架不支持此參數(shù)。

而之所以會(huì)出現(xiàn)這種情況的原因，就是上面所說(shuō)的協(xié)議標(biāo)準(zhǔn)問(wèn)題；現(xiàn)在大部分的推理框架主要也都是兼容openai的協(xié)議標(biāo)準(zhǔn)，對(duì)其它一些三方模型的支持并不好，特別是一些知名度不是很高的廠商。

所以，這是模型部署過(guò)程中必須要面對(duì)的問(wèn)題；在具體的企業(yè)環(huán)境中，除了特殊原因之外，盡可能找哪些社區(qū)更活躍，功能更完善的推理框架；而不是單純的只是為了節(jié)約成本，選擇那種成本更低的推理引擎，最后影響業(yè)務(wù)環(huán)境的運(yùn)行。

本文轉(zhuǎn)載自???AI探索時(shí)代??? 作者：DFires