基于Llama 3.1和一臺(tái)MacBook搭建商用級(jí)知識(shí)庫(kù)
1、為什么要在 MacBook 上搭建知識(shí)庫(kù)？
最核心最重要的是我們手上的文檔資料出于安全要求，不能隨便上傳到云服務(wù)，也就無(wú)法實(shí)際驗(yàn)證知識(shí)庫(kù)的實(shí)際效用。另外對(duì)于 IT 同學(xué)來(lái)說(shuō)，自己親手搭建一個(gè)完整的方案、能靈活調(diào)整和對(duì)接各種不同的模型、評(píng)測(cè)各種模型不同的表現(xiàn)，也是出于對(duì)技術(shù)的探索本能使然。
使用的 MacBook 配置如下，對(duì)大模型經(jīng)過(guò)量化處理（比如：int8）后，可以流暢運(yùn)行。
圖片
2、知識(shí)庫(kù)的架構(gòu)設(shè)計(jì)
基于一臺(tái) MacBook 搭建部署的架構(gòu)設(shè)計(jì)如下圖，在這套架構(gòu)設(shè)計(jì)中，我們采用了實(shí)力排上游、并且對(duì)企業(yè)和學(xué)術(shù)都友好的最新開源大模型 Llama 3.1。
并采用了基于 m3e-base 模型的 embedding search RAG 方案。基于這兩個(gè)模型封裝和 ChatGPT 兼容的 API 接口協(xié)議；通過(guò)引入 One API 接口管理 & 分發(fā)系統(tǒng)，形成統(tǒng)一 LLM 接口渠道管理平臺(tái)規(guī)范，并把封裝好的接口協(xié)議注冊(cè)進(jìn)去；搭建與 Dify.ai 齊名開源大模型知識(shí)庫(kù)平臺(tái)管理系統(tǒng) FastGPT，實(shí)現(xiàn)集私有知識(shí)數(shù)據(jù)源預(yù)處理、嵌入檢索、大模型對(duì)話一體的完整知識(shí)庫(kù)應(yīng)用流程。
麻雀雖小五臟俱全，最終形成一套既滿足商用標(biāo)準(zhǔn)、又能在 MacBook 跑起來(lái)的的方案。雖然智能程度和實(shí)際需求還有一定差距，但至少我們?cè)诓挥妙~外購(gòu)買顯卡或云服務(wù)的情況下，以最小成本部署運(yùn)行、并且能導(dǎo)入實(shí)際業(yè)務(wù)數(shù)據(jù)（如：設(shè)計(jì)文檔、業(yè)務(wù)流程文檔、項(xiàng)目管理文檔、技術(shù)分享文檔等等）進(jìn)行實(shí)操驗(yàn)證，值得每位工程師都來(lái)動(dòng)手嘗試一下。
3、知識(shí)庫(kù)的部署設(shè)計(jì)
基于 MacBook 的部署方案分為四個(gè)主要環(huán)節(jié)、14個(gè)具體步驟，只要一步步實(shí)操下去，每位 IT 同學(xué)都可以在自己的 MacBook 上擁有屬于自己的私有大模型知識(shí)庫(kù)系統(tǒng)，步驟清單如下：
部分步驟可以簡(jiǎn)單地通過(guò) Docker 鏡像一鍵部署完成，但本著對(duì)細(xì)節(jié)一桿子插到底的部署思路，還是采取了純手工作業(yè)的方法。
本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI 作者：玄姐
