一、Deepexi 滴普企業(yè)大模型方案

1. DEEPEXI 產(chǎn)品邏輯架構(gòu)

下面是算力基礎(chǔ)設(shè)施，包括 Fast5000E 企業(yè)算力平臺。上面 FastData 企業(yè)融合數(shù)據(jù)平臺，目前在原有基礎(chǔ)上向 AI 進(jìn)行了跨越，可以支持在大數(shù)據(jù)平臺處理非結(jié)構(gòu)化數(shù)據(jù)，比如文檔或者音視頻數(shù)據(jù)可以在平臺上進(jìn)行訓(xùn)練數(shù)據(jù)的加工。加工之后的數(shù)據(jù)提供給 FastAGI 企業(yè)大模型服務(wù)平臺進(jìn)行模型工程做訓(xùn)練。在上面會有 Agent，基于 LangChain 框架，實(shí)現(xiàn) RAG 召回，可以創(chuàng)建 AI 智能助手，為企業(yè)應(yīng)用嵌入或者直接進(jìn)行知識問答。

基于上述產(chǎn)品，可以支持多種場景，包括數(shù)據(jù)智能分析，即通過對話的方式來進(jìn)行數(shù)倉數(shù)據(jù)的分析；單品大腦，即企業(yè)面向整個(gè)供應(yīng)鏈進(jìn)行快速反應(yīng)；以及知識問答和用車助手，將企業(yè)知識數(shù)據(jù)訓(xùn)練進(jìn)去之后，通過問答的方式進(jìn)行精準(zhǔn)檢索。

2. DEEPEXI 產(chǎn)品功能架構(gòu)

上圖是 DEEPEXI 產(chǎn)品的功能架構(gòu)圖，下面是 Fast5000E 訓(xùn)推一體機(jī)和 Deepexi滴普企業(yè)多模態(tài)大模型。

其上，在語料工程部分，可以從不同數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集，包括數(shù)倉、數(shù)據(jù)庫，還有文檔的一些存儲路徑，對象存儲、云上的存儲等等。同時(shí)提供統(tǒng)一的 catalog，對應(yīng)用層以及 FastAGI 企業(yè)大模型服務(wù)平臺提供統(tǒng)一的元數(shù)據(jù)，使其可以直接訪問結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或者是大模型訓(xùn)練加工的數(shù)據(jù)。

模型工程部分，在 FastAGI 企業(yè)大模型服務(wù)平臺的基礎(chǔ)上，支持智能體的構(gòu)建、模型的訓(xùn)練和微調(diào)，以及模型的推理和評估。

再向上，我們可以面向不同的場景提供產(chǎn)業(yè) AI 應(yīng)用的能力。

3. DEEPEXI 產(chǎn)品技術(shù)架構(gòu)

這張 DEEPEXI 產(chǎn)品技術(shù)架構(gòu)圖展示了目前大模型相關(guān)的一些核心技術(shù)能力。左邊是語料工程，可以對本地?cái)?shù)據(jù)源或外部數(shù)據(jù)源的數(shù)據(jù)進(jìn)行加工。在一些場景中會進(jìn)行預(yù)訓(xùn)練，比如某些客戶需要自動地基于業(yè)務(wù)場景寫代碼，如果讓客戶去整理應(yīng)用場景和代碼的關(guān)系是比較復(fù)雜的，因此我們先是把客戶大概十萬多個(gè) API 進(jìn)行了預(yù)訓(xùn)練，再把這種應(yīng)用場景和代碼進(jìn)行指令精調(diào)。同時(shí)我們還通過 Prompt 的方式對輸出結(jié)果進(jìn)行優(yōu)化。

我們的 Deepexi 滴普企業(yè)多模態(tài)大模型，除了基礎(chǔ)的 300 億參數(shù)之外，對于文檔的解析也用了很多小模型，比如對 PDF、word 進(jìn)行解析，生成 markdown 格式的數(shù)據(jù)，再進(jìn)行切片、數(shù)據(jù)的合成，并進(jìn)行訓(xùn)練。

Fast5000E 訓(xùn)推一體機(jī)方面，我們具有對 GPU 集群的管理、對模型的管理、算力的池化等能力。

4. 從數(shù)據(jù)時(shí)代走向數(shù)據(jù)智能時(shí)代

無論是公司還是整個(gè)行業(yè)，都在從原有的數(shù)據(jù)時(shí)代向智能時(shí)代跨越。

二、語料工程

下面介紹模型訓(xùn)練之前，我們在語料工程方面所做的工作。

1. 大模型訓(xùn)練效果 80% 取決于數(shù)據(jù)質(zhì)量

我們認(rèn)為模型訓(xùn)練的效果 80% 取決于訓(xùn)練數(shù)據(jù)集的質(zhì)量。我們在項(xiàng)目實(shí)際落地過程中，80% 的工作也都是做數(shù)據(jù)加工，包括訓(xùn)練模型之后如何進(jìn)一步提升任務(wù)的準(zhǔn)確率，都是在做數(shù)據(jù)的清洗加工和不斷調(diào)整，包括跟業(yè)務(wù)進(jìn)行比對，不斷提升數(shù)據(jù)質(zhì)量。

2. 大模型訓(xùn)練數(shù)據(jù)加工過程

數(shù)據(jù)加工的過程如上圖所示。文檔可以從產(chǎn)品側(cè)上傳，之后通過嵌入在產(chǎn)品里面的一些小模型對數(shù)據(jù)進(jìn)行解析，然后對解析之后的數(shù)據(jù)進(jìn)行標(biāo)注，可以通過模型進(jìn)行標(biāo)注，也會投入一些人工標(biāo)注。比如我們在一個(gè)項(xiàng)目上落地大概有 1000 本左右的文檔，進(jìn)行解析之后，由六位技術(shù)人員標(biāo)注，模型標(biāo)注完之后還需要人工去看數(shù)據(jù)是否正確。

標(biāo)注完成后，我們會對數(shù)據(jù)進(jìn)行切片，按三級標(biāo)題來切成一個(gè)一個(gè)的知識點(diǎn)，基于這些知識點(diǎn)生成問答對。當(dāng)然，我們也會用 GPT 的方式去生成問題，也可以自己訓(xùn)練一個(gè)小模型去合成 QA 對。最后，利用這些問題，為 RAG 提升 Retrieve 的準(zhǔn)確度。

3. RAG 過程示意圖

上圖展示了基于 RAG 的召回過程。生成的知識點(diǎn)會放到向量庫中進(jìn)行向量化，之后一個(gè)問題過來時(shí)會到這個(gè)向量庫里面去檢索，檢索完的上下文，會用 Prompt 的方式，通過模型進(jìn)行總結(jié)回答。這部分的核心工作就是對 embedding 模型的訓(xùn)練。

4. 數(shù)據(jù) AI 分析方案

在數(shù)據(jù) AI 分析方案這個(gè)場景，一方面我們通過模型的能力自動生成 SQL，當(dāng)然在企業(yè)很多復(fù)雜的場景中，生成的 SQL 準(zhǔn)確度是不夠的，因此我們采用的方案是，有一些指標(biāo)可能有 API 能夠直接取到，或者是我們可以配一些 SQL 模板，把一些參數(shù)變成變量來根據(jù)其意圖識別到。在實(shí)際落地過程中，不一定全是靠模型去生成，我們也測試過，單靠模型生成 SQL 的準(zhǔn)確度只能達(dá)到 60%~70% 左右。加上 API 和 SQL 模板這些手段之后，目前準(zhǔn)確度可以提升 90%。目前該功能已在企業(yè)生產(chǎn)環(huán)境中正式使用。

三、模型工程

下面介紹我們在模型方面的工作。

1. 通用大模型與企業(yè)大模型的關(guān)系

關(guān)于通用大模型與企業(yè)大模型之間的關(guān)系，從上圖中可以看到，最下面 L0 層是我們經(jīng)常看到的一些大模型廠商，它們具有一些通用能力，包括知識理解能力、推理能力、音視頻的生成或者解析的能力。上面一層是行業(yè)大模型，比如法律的大模型、醫(yī)療的大模型，它們是面向整個(gè)行業(yè)的。我們在企業(yè)落地的時(shí)候，需要拿著企業(yè)真實(shí)的業(yè)務(wù)數(shù)據(jù)，結(jié)合行業(yè)大模型和通用大模型進(jìn)行再訓(xùn)練或者微調(diào)，才能滿足企業(yè)的應(yīng)用場景，所以其實(shí)我們目前在落地過程當(dāng)中，主要做的是 L1 和 L2 這部分的工作。

2. Deepexi 滴普企業(yè)大模型核心定位

我們目前的定位是把數(shù)據(jù)和模型結(jié)合到一起，幫助企業(yè)進(jìn)行快速落地。

3. 大模型微調(diào)過程示意圖

大模型微調(diào)過程，首先是選擇大模型，我們選擇的是 300 億參數(shù)級別的模型。我們認(rèn)為這個(gè)參數(shù)級別對于客戶壓力不會特別大，使用兩臺一體機(jī)，配置 8 張主流的 GPU卡，基本上就可以落地。如果參數(shù)過大，對于私有化場景，企業(yè)落地應(yīng)用的成本比較高。如果選擇特別小的參數(shù)級別的話，又無法滿足企業(yè)一些比較復(fù)雜的場景需求。第二是準(zhǔn)備數(shù)據(jù)集，一方面是行業(yè)的數(shù)據(jù)，另一方面是企業(yè)自身的私有化數(shù)據(jù)。我們大部分工作集中在第三部分，即微調(diào)，采用了全參、Lora 以及適配器層調(diào)優(yōu)幾種方式。最后一部分就是模型的測試評估和部署。

4. Deepexi 滴普企業(yè)大模型

我們在落地 Deepexi 滴普企業(yè)大模型過程當(dāng)中總結(jié)了一些具體的方案，核心是幫助企業(yè)去訓(xùn)練和調(diào)整其業(yè)務(wù)場景會用到的模型能力，主要包括以下三個(gè)方面：

• 第一塊是知識問答數(shù)據(jù)。
• 第二塊是 API 數(shù)據(jù)。模型的能力落地實(shí)際上還是在其業(yè)務(wù)流程中以嵌入式的方式實(shí)現(xiàn)一些智能化，或是做一些輔助分析、輔助決策。在決策過程中可能會產(chǎn)生一些動作，比如下單操作，要調(diào)系統(tǒng) API 進(jìn)行操作，所以我們主要是訓(xùn)練它語義上的意圖理解能力，還有 FunctionCall 的能力，以精準(zhǔn)調(diào)用 API。
• 第三塊是 SQL 數(shù)據(jù)。在面向數(shù)據(jù)分析場景中，我們的一個(gè)核心優(yōu)勢是數(shù)據(jù)服務(wù)能力，很多老客戶需要提升數(shù)據(jù)分析場景的智能性，核心是需要這種 SQL 的能力，我們會訓(xùn)練 SQL 的生成能力，再加上 API、SQL 模板能力來提升整個(gè)數(shù)據(jù)查詢的準(zhǔn)確度。

5. 大模型微調(diào)方法

大模型微調(diào)也是圍繞這三個(gè)能力，生成三類訓(xùn)練或者微調(diào)的數(shù)據(jù)。我們對模型進(jìn)行訓(xùn)練或者微調(diào)，調(diào)整的核心參數(shù)包括 learning_rate、warmup_ratio、num_train_epochs、model_max_length 等，根據(jù) loss 值的下降情況，來判斷如何調(diào)整模型參數(shù)和數(shù)據(jù)集。

6. 大模型量化方法

模型訓(xùn)練之后，在模型推理過程中我們需要考慮客戶自身的成本，因此要對模型進(jìn)行量化，核心是降低其計(jì)算復(fù)雜度，使得客戶能用更少的資源進(jìn)行推理。當(dāng)然，降低精度的話，準(zhǔn)確度也會有一些喪失，我們也做了一些工作，盡量減少由于精度降低對推理的影響。

7. 大模型安全

目前業(yè)界對于模型安全的要求是非常高的，比如在一些政府行業(yè)項(xiàng)目中，有些敏感詞，如涉政、地域歧視、人身攻擊等是不能出現(xiàn)的，因此我們造了 23 萬條敏感詞匯數(shù)據(jù)集對模型進(jìn)行微調(diào)，使敏感詞過濾能力有較大提升。

四、制造行業(yè)落地實(shí)踐

1. 某鞋服行業(yè)頭部企業(yè)聯(lián)手滴普科技自建 AI 訓(xùn)推平臺，快速上線智能應(yīng)用

某鞋服行業(yè)頭部企業(yè)在國內(nèi)擁有萬余家自營門店，我們與其共創(chuàng)了一整套與業(yè)務(wù)深入結(jié)合的流程，覆蓋了從底層算力服務(wù)一體機(jī)，到大數(shù)據(jù)平臺，再到基于模型的 AGI 平臺，核心落地實(shí)現(xiàn)了以下三大應(yīng)用場景：

• 研發(fā)設(shè)計(jì)助手（文生圖）：

通過圖文模式、多圖融合、關(guān)鍵詞反推、線稿渲染、款式配色實(shí)現(xiàn)鞋服新品設(shè)計(jì)，引領(lǐng)創(chuàng)意，提升設(shè)計(jì)效率。

• 商品運(yùn)營智能助手（面向一線）：

商品全生命周期的知識問答、數(shù)據(jù)分析、業(yè)務(wù)推理，實(shí)時(shí)了解庫存，提供補(bǔ)貨建議，提升商品流通效率。

• 零售供應(yīng)鏈助手（面向管理者）：

打通供應(yīng)鏈管理系統(tǒng)和零售運(yùn)營系統(tǒng)數(shù)據(jù)，通過業(yè)務(wù)執(zhí)行輔助問答實(shí)現(xiàn)供應(yīng)鏈流程智能化，提升決策效率。

我們目前與該鞋服行業(yè)的頭部企業(yè)共同探索的另外一個(gè)非常核心的場景是 OTB-滾動預(yù)算，即如何根據(jù)業(yè)務(wù)情況進(jìn)行進(jìn)行智能分析和調(diào)整預(yù)算目標(biāo)。

2. 某國內(nèi)工程設(shè)計(jì)服務(wù)業(yè)的頭部企業(yè)聯(lián)手滴普自建 AI 訓(xùn)推平臺，快速上線智能應(yīng)用

某國內(nèi)工程設(shè)計(jì)服務(wù)業(yè)的頭部企業(yè)通過建設(shè) AI 智能體平臺，實(shí)現(xiàn)了問答助手和設(shè)計(jì)助手兩大應(yīng)用場景。

• 問答助手：

基于知識圖譜數(shù)據(jù)，利用 LLM 實(shí)現(xiàn)自然語言問答。其內(nèi)部有 80 多萬字的核心規(guī)范，我們也是在企業(yè)內(nèi)部進(jìn)行訓(xùn)練的。這是一個(gè)私有化的場景，沒法用通用大模型，也沒法用云的服務(wù)器，所以使用我們的一體機(jī)加上我們的模型訓(xùn)練和 AGI 平臺來進(jìn)行落地。

• 設(shè)計(jì)助手：

對已有圖紙文檔分析理解、專業(yè)文檔輔助生成、專業(yè)圖紙校審。最大的挑戰(zhàn)是要求 90% 的準(zhǔn)確度，目前仍在不斷的優(yōu)化中，我們 80% 的工作都是要對齊這一需求，不管是回答風(fēng)格、規(guī)范，還是語義場景。有時(shí)一個(gè)問題可能會涉及到七八本規(guī)范數(shù)據(jù)，模型推理可能會出現(xiàn)遺漏，影響準(zhǔn)確度，所以我們做了大量的語料和訓(xùn)練優(yōu)化的工作，目前已經(jīng)訓(xùn)了十幾輪來不斷優(yōu)化和改進(jìn)，包括 RAG 的增強(qiáng)，訓(xùn)練 embedding 模型。

3. 滴普科技專注大模型在工業(yè)制造深入落地

滴普科技是領(lǐng)先的企業(yè) AI 基礎(chǔ)設(shè)施服務(wù)商，聚焦產(chǎn)業(yè) AI 應(yīng)用，為客戶提供 DeepexiOS 企業(yè) AI 平臺及 DeepexiGenAI 企業(yè)核心領(lǐng)域的生成式 AI 應(yīng)用，助力企業(yè)構(gòu)建智能化基礎(chǔ)設(shè)施，并實(shí)現(xiàn)產(chǎn)業(yè) AI 應(yīng)用落地。目前除了上述兩個(gè)典型場景之外，也在其他企業(yè)進(jìn)行著不同程度的落地。憑借眾多標(biāo)桿合作案例，滴普科技入選福布斯中國人工智能科技企業(yè) TOP50 榜單，并被認(rèn)證為 2024 年第六批國家級專精特新 “小巨人” 企業(yè)。

今天的分享就到這里，感謝大家！

五、問答環(huán)節(jié)

Q1：前面介紹的案例，比如鞋服行業(yè)的例子里面，很多都是獲取如銷量數(shù)據(jù)或者銷量情況，如果我想問一些關(guān)于決策的問題，比如今天這個(gè)鞋要備貨多少件，或者是一些更偏向于歸因的問題，比如銷量變差是什么原因，這種情況下“問答助手”是怎么實(shí)現(xiàn)的？

A1：這其實(shí)就是剛才介紹的智能補(bǔ)貨場景，內(nèi)部稱為單品大腦。我們核心訓(xùn)練三個(gè)任務(wù)，第一個(gè)任務(wù)就是識別商品編號，提供給系統(tǒng)調(diào)用，這里用到語義識別是通過模型進(jìn)行訓(xùn)練；第二個(gè)任務(wù)是拿到編號和一些參數(shù)之后，需要調(diào)哪個(gè)系統(tǒng)的 API，補(bǔ)貨邏輯在系統(tǒng)中已經(jīng)實(shí)現(xiàn)，我們只要更精準(zhǔn)地調(diào)用 API 拿到這些數(shù)據(jù)；第三個(gè)任務(wù)是，有一些分析總結(jié)，有特別的規(guī)范，我們會按照規(guī)范的語料來進(jìn)行訓(xùn)練，最終把拿到的數(shù)據(jù)以及分析的結(jié)果通過規(guī)范的形式輸出出來。具體補(bǔ)多少量并不是模型給到他的，而是以 FunctionCall 的形式去調(diào)已有的業(yè)務(wù)系統(tǒng)來給出要補(bǔ)多少，我只是把這種分析的趨勢或者分析的結(jié)果給到這個(gè)系統(tǒng)，讓它給我返回結(jié)果。

Q2：模型的準(zhǔn)確率如何匹配設(shè)計(jì)行業(yè)的實(shí)際需求？

A2：目前模型的能力達(dá)到 100% 幾乎是不太可能的，客戶要求是 90% 以上，這一目標(biāo)涉及很多復(fù)雜問題，比如一個(gè)問題涉及到多本規(guī)范，還有復(fù)雜的表格、復(fù)雜的公式、復(fù)雜的圖紙，規(guī)范里邊還會有一些計(jì)算邏輯。模型需要幫助做好復(fù)雜推理，同時(shí)還有一些知識圖譜，會基于圖數(shù)據(jù)庫的知識，進(jìn)行復(fù)雜的推理，這些都是需要進(jìn)行提升的。

對于剩下的 10% 的不正確或不準(zhǔn)確的回答，我們在回答問題過程中，不僅有結(jié)論，還會有分析過程，另外還會引用問題答案是從哪個(gè)規(guī)范里面出來的。基本上用戶可以快速判斷。另外還可以通過產(chǎn)品化的方式來解決，我們有點(diǎn)贊或者點(diǎn)踩，會在后臺收集到日志，如果這個(gè)問題回答的不好，被點(diǎn)踩了，我們會分析這類問題該如何優(yōu)化語料，以進(jìn)一步提升。