LLM在轉(zhuǎn)轉(zhuǎn)回收問(wèn)答系統(tǒng)的主要應(yīng)用場(chǎng)景及關(guān)鍵技術(shù)
引言
應(yīng)用場(chǎng)景一 意圖理解
1.1 核心目標(biāo)
1.2 雙模塊協(xié)同
1.3 核心價(jià)值
應(yīng)用場(chǎng)景二 RAG問(wèn)答
2.1 核心目標(biāo)
2.2 三層精煉 pipeline(檢索->重排->生成)
2.3 核心價(jià)值
應(yīng)用場(chǎng)景三 知識(shí)庫(kù)維護(hù)
3.1 核心目標(biāo)
3.2 人機(jī)協(xié)同知識(shí)工廠
3.3 核心價(jià)值
總結(jié)
參考文獻(xiàn)
引言
??作為深耕循環(huán)經(jīng)濟(jì)領(lǐng)域的企業(yè),轉(zhuǎn)轉(zhuǎn)始終致力于在全行業(yè)與廣大用戶群體中積極倡導(dǎo)綠色消費(fèi)理念。為進(jìn)一步打通二手交易服務(wù)的關(guān)鍵環(huán)節(jié)、筑牢用戶信任的 “最后一公里”,轉(zhuǎn)轉(zhuǎn)選擇以更貼近用戶的方式升級(jí)服務(wù)體驗(yàn):一方面,組建專(zhuān)業(yè)上門(mén)工程師團(tuán)隊(duì),為用戶提供涵蓋手機(jī) 3C 等閑置物品的上門(mén)回收服務(wù),省去用戶奔波之勞;另一方面,布局集回收、零售、寄賣(mài)功能于一體的轉(zhuǎn)轉(zhuǎn)品牌門(mén)店,讓用戶處置閑置物品的過(guò)程更便捷、更高效,真正實(shí)現(xiàn) “身邊事身邊辦”。
??在轉(zhuǎn)轉(zhuǎn)的上門(mén)回收業(yè)務(wù)中,質(zhì)檢環(huán)節(jié)是決定交易成敗與用戶信任的核心。工程師需要在現(xiàn)場(chǎng)短時(shí)間內(nèi),對(duì)種類(lèi)繁多、情況各異的產(chǎn)品進(jìn)行快速、精準(zhǔn)的評(píng)估。這一過(guò)程高度依賴工程師的經(jīng)驗(yàn)與知識(shí),但同時(shí)也面臨著標(biāo)準(zhǔn)化難、效率瓶頸、知識(shí)更新快等固有挑戰(zhàn)。一位工程師的誤判或信息缺失,都可能直接影響回收定價(jià)的公平性與用戶體驗(yàn)。這些固有挑戰(zhàn)使得傳統(tǒng)規(guī)則庫(kù)或簡(jiǎn)單機(jī)器人難以應(yīng)對(duì)。我們研發(fā)并部署了基于大語(yǔ)言模型(LLM)的質(zhì)檢知識(shí)智能問(wèn)答系統(tǒng),旨在為上門(mén)工程師提供一位實(shí)時(shí)在線的“AI專(zhuān)家助手”。
??本文將圍繞意圖理解、RAG 問(wèn)答與知識(shí)庫(kù)維護(hù)三大核心應(yīng)用場(chǎng)景,深入剖析在應(yīng)對(duì)前述場(chǎng)景挑戰(zhàn)的過(guò)程中,所采用的核心技術(shù)創(chuàng)新思路與實(shí)踐方案。
應(yīng)用場(chǎng)景一 意圖理解
??意圖理解是問(wèn)答系統(tǒng)的一個(gè)關(guān)鍵組成部分,旨在識(shí)別用戶查詢背后的基本需求[1];是連接用戶問(wèn)題與系統(tǒng)知識(shí)之間的“智能橋梁”,直接決定了問(wèn)答系統(tǒng)的成敗。
1.1 核心目標(biāo)
??在轉(zhuǎn)轉(zhuǎn)上門(mén)回收?qǐng)鼍爸校簧偕祥T(mén)工程師面臨問(wèn)題表述難題:要么需求模糊,僅能提出 “手機(jī)攝像頭出現(xiàn)晃動(dòng)應(yīng)該怎么辦” 這類(lèi)籠統(tǒng)疑問(wèn);要么表達(dá)口語(yǔ)化、不規(guī)范,如將專(zhuān)業(yè)需求簡(jiǎn)化為 “手機(jī)主板有問(wèn)題怎么質(zhì)檢”。而深度意圖理解的核心目標(biāo),正是通過(guò)主動(dòng)引導(dǎo)工程師完善提問(wèn),降低其認(rèn)知與表達(dá)門(mén)檻,進(jìn)而精準(zhǔn)捕捉真實(shí)需求。
??為實(shí)現(xiàn)這一目標(biāo),我們搭建了 “意圖識(shí)別 - 意圖改寫(xiě)” 的閉環(huán)機(jī)制。該機(jī)制能夠?qū)⒐こ處煶跏继岢龅哪:樵儯╭uery),轉(zhuǎn)化為具備結(jié)構(gòu)化特征、可被機(jī)器精準(zhǔn)解析與處理的明確意圖。這一轉(zhuǎn)化過(guò)程,不僅完成了對(duì)用戶需求的深度解讀,更搭建起工程師與系統(tǒng)之間高效溝通、協(xié)同運(yùn)作的橋梁,為后續(xù)問(wèn)題解決提供精準(zhǔn)方向。
1.2 雙模塊協(xié)同
??該方案由意圖識(shí)別與意圖改寫(xiě)兩個(gè)核心模塊順序構(gòu)成。形成一個(gè)“識(shí)別-引導(dǎo)-確認(rèn)”的完美閉環(huán)。其中,意圖識(shí)別模塊負(fù)責(zé)對(duì)用戶的初始查詢(query)進(jìn)行粗粒度分類(lèi)與語(yǔ)義解析,從而快速判定查詢所屬的大致領(lǐng)域及核心意圖方向;而意圖改寫(xiě)模塊則是實(shí)現(xiàn) “引導(dǎo)提問(wèn)” 功能的關(guān)鍵環(huán)節(jié),它會(huì)依據(jù)意圖識(shí)別模塊輸出的結(jié)果制定針對(duì)性交互策略:若用戶查詢具備基礎(chǔ)明確性,便直接對(duì)其進(jìn)行標(biāo)準(zhǔn)化改寫(xiě)以提升后續(xù)檢索精度;若查詢信息存在缺失,則主動(dòng)向用戶詢問(wèn)更多關(guān)鍵細(xì)節(jié),以完善需求信息。
- 意圖識(shí)別子模塊
??意圖識(shí)別子模塊的核心難點(diǎn)主要體現(xiàn)在兩方面:其一,如何從用戶簡(jiǎn)短的提問(wèn)中精準(zhǔn)捕捉意圖方向,例如需確認(rèn)設(shè)備具體型號(hào)的 SKU 類(lèi)意圖、需拆機(jī)才能發(fā)現(xiàn)或確認(rèn)問(wèn)題的拆修類(lèi)意圖,以及咨詢?cè)O(shè)備功能使用方法的功能支持類(lèi)意圖;其二,如何從用戶提問(wèn)中精準(zhǔn)提取與意圖相關(guān)的關(guān)鍵實(shí)體信息,如設(shè)備部件、故障現(xiàn)象等。
??我們的意圖識(shí)別模型迭代分為兩個(gè)階段:第一階段采用“通用大語(yǔ)言模型(LLM)+ 提示工程”方案,通過(guò)精心設(shè)計(jì)的高質(zhì)量提示詞(Prompt)引導(dǎo)通用LLM準(zhǔn)確執(zhí)行意圖識(shí)別任務(wù),能夠快速實(shí)現(xiàn)可用性目標(biāo);第二階段則基于第一階段積累的數(shù)據(jù),進(jìn)一步進(jìn)行領(lǐng)域適應(yīng)性預(yù)訓(xùn)練與指令微調(diào),最終構(gòu)建出專(zhuān)用于轉(zhuǎn)轉(zhuǎn)回收?qǐng)鼍暗囊鈭D識(shí)別模型。與第一階段相比,第二階段專(zhuān)屬模型在識(shí)別精度和響應(yīng)速度方面均有顯著提升。
意圖識(shí)別模型迭代
- 意圖改寫(xiě)子模塊
??意圖改寫(xiě)子模塊的核心難點(diǎn)在于引導(dǎo)策略的智能決策機(jī)制。該機(jī)制需綜合意圖識(shí)別的結(jié)果與業(yè)務(wù)邏輯約束(例如拆修類(lèi)意圖需強(qiáng)制包含“部件”和“現(xiàn)象”實(shí)體),動(dòng)態(tài)判斷應(yīng)答策略——選擇“直接回答”或“反問(wèn)引導(dǎo)”,并在引導(dǎo)時(shí)精準(zhǔn)定位待補(bǔ)全的關(guān)鍵信息。
??在線下階段,我們基于質(zhì)檢知識(shí)庫(kù)提取實(shí)體,構(gòu)建“部件-現(xiàn)象”知識(shí)圖譜,并將歷史用戶問(wèn)識(shí)別的對(duì)應(yīng)實(shí)體作為同義詞補(bǔ)充至圖譜;線上推理過(guò)程中,系統(tǒng)依據(jù)實(shí)時(shí)意圖識(shí)別結(jié)果及業(yè)務(wù)規(guī)則判斷是否發(fā)起引導(dǎo);如需引導(dǎo),則動(dòng)態(tài)查詢部件+現(xiàn)象知識(shí)圖譜,以實(shí)現(xiàn)精準(zhǔn)、結(jié)構(gòu)化的用戶反問(wèn)。
意圖改寫(xiě)引導(dǎo)決策機(jī)制
1.3 核心價(jià)值
??轉(zhuǎn)轉(zhuǎn)回收問(wèn)答場(chǎng)景的意圖理解方案巧妙地結(jié)合了LLM強(qiáng)大的語(yǔ)義理解能力和領(lǐng)域知識(shí)圖譜的結(jié)構(gòu)化推理能力。該方案具備三重核心價(jià)值:其一,能將開(kāi)放性問(wèn)題轉(zhuǎn)化為更易操作的選擇題,為用戶帶來(lái)流暢且友好的交互體驗(yàn);其二,可有效確保信息的結(jié)構(gòu)化呈現(xiàn),為后續(xù)環(huán)節(jié)-RAG問(wèn)答-筑牢數(shù)據(jù)基礎(chǔ);其三,深度凝聚了轉(zhuǎn)轉(zhuǎn)在回收領(lǐng)域的專(zhuān)業(yè)知識(shí)與標(biāo)準(zhǔn)化業(yè)務(wù)流程,是平臺(tái)核心競(jìng)爭(zhēng)力的直接體現(xiàn)。
應(yīng)用場(chǎng)景二 RAG問(wèn)答
??RAG問(wèn)答是整個(gè)問(wèn)答系統(tǒng)中直接面向用戶的“門(mén)面”和“價(jià)值兌現(xiàn)點(diǎn)”;用戶不會(huì)關(guān)心后臺(tái)的知識(shí)庫(kù)有多大、模型有多強(qiáng)、意圖理解有多復(fù)雜。他們所有的體驗(yàn)和感受,都來(lái)自于與RAG問(wèn)答接口交互的那一瞬間。
2.1 核心目標(biāo)
??針對(duì)用戶經(jīng)意圖理解后提出的明確問(wèn)題(如 “蘋(píng)果手機(jī)主板出現(xiàn)第三方標(biāo)識(shí)怎么辦”),我們需提供準(zhǔn)確、即時(shí)且權(quán)威的解答。
??檢索增強(qiáng)生成(RAG)引入了信息檢索過(guò)程,通過(guò)從可用數(shù)據(jù)存儲(chǔ)中檢索相關(guān)對(duì)象來(lái)增強(qiáng)生成過(guò)程,有更高的準(zhǔn)確性和更好的魯棒性[2]。因此在我們的問(wèn)答場(chǎng)景中,同樣采用 RAG 技術(shù)以保障答案質(zhì)量。
2.2 三層精煉 pipeline(檢索->重排->生成)
??我們推出的第一版轉(zhuǎn)轉(zhuǎn)回收RAG問(wèn)答,采用通用 RAG 架構(gòu),核心包含 “檢索” 與 “生成” 兩大基礎(chǔ)模塊。系統(tǒng)上線后,通過(guò)多維度數(shù)據(jù)分析發(fā)現(xiàn),核心 badcase 集中于兩點(diǎn):一是檢索階段返回的相關(guān)信息中冗余內(nèi)容過(guò)多,干擾有效信息識(shí)別;二是生成模塊難以從海量信息中精準(zhǔn)篩選適配的知識(shí),最終導(dǎo)致輸出答案存在合理性偏差。
??針對(duì)這一問(wèn)題,我們對(duì)架構(gòu)進(jìn)行了優(yōu)化迭代,特采用 “檢索→重排→生成” 三級(jí)流水線架構(gòu):通過(guò) “檢索” 篩選相關(guān)知識(shí),不遺漏與問(wèn)題相關(guān)的任何關(guān)鍵信息,為后續(xù)回答提供完整信息基礎(chǔ);借助 “重排” 精準(zhǔn)過(guò)濾無(wú)關(guān)噪音數(shù)據(jù),保障核心信息的有效性;最終在“生成”階段,以經(jīng)過(guò)篩選的純凈上下文為支撐,搭配嚴(yán)格規(guī)范的 Prompt ,雙重約束LLM的生成邏輯,不僅能產(chǎn)出準(zhǔn)確、可靠的回答,更能有效抑制模型 “幻覺(jué)” 現(xiàn)象。
RAG問(wèn)答流程優(yōu)化
2.3 核心價(jià)值
??該方案深度融合了 LLM 的理解與表達(dá)能力,以及轉(zhuǎn)轉(zhuǎn)回收領(lǐng)域的專(zhuān)業(yè)知識(shí)庫(kù):一方面充分釋放 LLM 在自然語(yǔ)言交互上的優(yōu)勢(shì),讓回答更貼合用戶理解習(xí)慣;另一方面通過(guò)檢索、重排等技術(shù)把控信息質(zhì)量,確保答案的專(zhuān)業(yè)性與準(zhǔn)確性,成為轉(zhuǎn)轉(zhuǎn)回收業(yè)務(wù)在技術(shù)層面的核心競(jìng)爭(zhēng)壁壘。
應(yīng)用場(chǎng)景三 知識(shí)庫(kù)維護(hù)
??高質(zhì)量、大規(guī)模的知識(shí)庫(kù)是 RAG(檢索增強(qiáng)生成)系統(tǒng)穩(wěn)定運(yùn)行的核心基石。若缺失這一關(guān)鍵支撐,即便配備再先進(jìn)的算法模型,系統(tǒng)也會(huì)陷入 “巧婦難為無(wú)米之炊” 的困境,難以輸出精準(zhǔn)可靠的結(jié)果。
??因此,構(gòu)建覆蓋全面、內(nèi)容精準(zhǔn)的高質(zhì)量知識(shí)庫(kù),并搭配可快速定位關(guān)鍵信息的高效檢索系統(tǒng),是決定 RAG 項(xiàng)目能否成功落地、能否穩(wěn)定輸出可靠結(jié)果的關(guān)鍵環(huán)節(jié)。
3.1 核心目標(biāo)
??隨著平臺(tái)業(yè)務(wù)復(fù)雜度持續(xù)提升,新質(zhì)檢標(biāo)準(zhǔn)不斷更新,各類(lèi)長(zhǎng)尾場(chǎng)景逐漸增多,傳統(tǒng)依賴人工維護(hù)知識(shí)庫(kù)(KB)的模式,已難以滿足高效迭代、精準(zhǔn)覆蓋的需求[3]。因此,我們需對(duì)知識(shí)庫(kù)進(jìn)行智能化的維護(hù),提升維護(hù)效果,降低人工成本。
3.2 人機(jī)協(xié)同知識(shí)工廠
??人機(jī)協(xié)同知識(shí)工廠的運(yùn)作流程包含四大核心步驟,各環(huán)節(jié)環(huán)環(huán)相扣,實(shí)現(xiàn)從信息挖掘到知識(shí)入庫(kù)的全鏈路閉環(huán),具體流程如下:
- QA 對(duì)挖掘:以人工和機(jī)器人的真實(shí)會(huì)話數(shù)據(jù)為基礎(chǔ),借助LLM的語(yǔ)義理解與提取能力,自動(dòng)從對(duì)話中篩選、提煉有效的問(wèn)答對(duì)(QA 對(duì)),為后續(xù)知識(shí)加工提供原始素材。
- 標(biāo)準(zhǔn)問(wèn)挖掘:針對(duì)上一步提取的用戶問(wèn)(即 QA 對(duì)中的 “問(wèn)”),通過(guò)聚類(lèi)算法對(duì)語(yǔ)義相似的用戶問(wèn)進(jìn)行分組,形成若干問(wèn)題簇。對(duì)高頻出現(xiàn)的問(wèn)題簇,篩選或定義一個(gè)具備代表性的 “標(biāo)準(zhǔn)問(wèn)”;簇內(nèi)其余用戶問(wèn)則作為該標(biāo)準(zhǔn)問(wèn)的 “相似問(wèn)”,實(shí)現(xiàn)用戶問(wèn)題的規(guī)范化與歸類(lèi)。
- 答案生成:將每個(gè)高頻問(wèn)題簇下的多個(gè) QA 對(duì)整合為結(jié)構(gòu)化Prompt,輸入 LLM 進(jìn)行處理。由模型基于多組 QA 對(duì)的核心信息,生成唯一、統(tǒng)一且邏輯連貫的答案,作為對(duì)應(yīng)標(biāo)準(zhǔn)問(wèn)的最終官方答案,確保答案的一致性與專(zhuān)業(yè)性。
- 質(zhì)檢入庫(kù):引入人工審核環(huán)節(jié),對(duì) “標(biāo)準(zhǔn)問(wèn) - 相似問(wèn)” 的對(duì)應(yīng)關(guān)系、“標(biāo)準(zhǔn)問(wèn) - 答案” 的準(zhǔn)確性與合規(guī)性進(jìn)行雙重核驗(yàn)。審核通過(guò)后,按照預(yù)設(shè)的知識(shí)庫(kù)存儲(chǔ)規(guī)則,將合格的 “標(biāo)準(zhǔn)問(wèn) - 相似問(wèn)”、“標(biāo)準(zhǔn)問(wèn) - 答案” 數(shù)據(jù)正式錄入知識(shí)庫(kù),完成知識(shí)的落地沉淀。
基于LLM的人機(jī)協(xié)同知識(shí)工廠
3.3 核心價(jià)值
??基于 LLM 的人機(jī)協(xié)同知識(shí)工廠方案兼具科學(xué)性與可操作性,有實(shí)用、高效和可落地的優(yōu)勢(shì):以真實(shí)用戶問(wèn)題挖掘需求,讓知識(shí)庫(kù)內(nèi)容貼合實(shí)際訴求、保障知識(shí)覆蓋全面與應(yīng)用價(jià)值,實(shí)現(xiàn) “實(shí)用”;借助 LLM 自動(dòng)化完成知識(shí)庫(kù)構(gòu)建中耗時(shí)的 “信息提取” 與 “內(nèi)容生成”,人工僅負(fù)責(zé)質(zhì)量核驗(yàn),大幅降本提效,實(shí)現(xiàn) “高效”;通過(guò) “聚類(lèi)分析” 聚焦高頻問(wèn)題優(yōu)先覆蓋核心需求,搭配 “人工審核” 嚴(yán)控內(nèi)容質(zhì)量,雙重保障確保知識(shí)庫(kù)上線后應(yīng)用效果,實(shí)現(xiàn) “可落地”。
總結(jié)
??在轉(zhuǎn)轉(zhuǎn)回收的智能問(wèn)答場(chǎng)景,LLM的三大應(yīng)用場(chǎng)景緊密銜接、環(huán)環(huán)相扣:意圖理解如系統(tǒng)大腦,精準(zhǔn)識(shí)別用戶需求;RAG問(wèn)答如系統(tǒng)心臟,基于可靠知識(shí)生成回答;知識(shí)庫(kù)維護(hù)如造血系統(tǒng),持續(xù)更新并優(yōu)化知識(shí)供給。
??面對(duì)技術(shù)難點(diǎn),我們不再依賴單一模型,而是通過(guò)系統(tǒng)工程的整體思路,融合領(lǐng)域微調(diào)、RAG架構(gòu)、知識(shí)圖譜與人機(jī)協(xié)同,構(gòu)建出一個(gè)持續(xù)進(jìn)化、越用越智能的新一代問(wèn)答系統(tǒng)。
參考文獻(xiàn)
[1]Improving Generalization in Intent Detection: GRPO with Reward-Based Curriculum Sampling(https://arxiv.org/pdf/2504.13592)
[2]Retrieval-Augmented Generation for AI-Generated Content: A Survey(https://arxiv.org/pdf/2402.19473)
[3]DoorDash用大模型、知識(shí)圖譜與聚類(lèi)算法重塑客服知識(shí)庫(kù)(https://mp.weixin.qq.com/s/VDtoyQvPTBCZj_ErSOZj3g)
關(guān)于作者
李瑩瑩、楊慧姍、張為麗,轉(zhuǎn)轉(zhuǎn)算法工程師,主要負(fù)責(zé)LLM在客服、上門(mén)和門(mén)店等場(chǎng)景的相關(guān)工作。


























