兩個(gè)簡(jiǎn)單技巧把 RAG 檢索正確率從 50% 提高到 95 % 原創(chuàng)
在實(shí)際項(xiàng)目實(shí)施過(guò)程中，RAG（檢索增強(qiáng)生成）系統(tǒng)的關(guān)鍵在于其檢索階段，這一環(huán)節(jié)直接關(guān)系到生成效果的質(zhì)量。RAG 系統(tǒng)的運(yùn)作流程主要涉及數(shù)據(jù)攝取和數(shù)據(jù)查詢兩個(gè)步驟，而檢索環(huán)節(jié)的重要性不言而喻。本文分享了一個(gè)案例，講述了團(tuán)隊(duì)如何運(yùn)用兩大關(guān)鍵策略，將 RAG 系統(tǒng)的檢索準(zhǔn)確率從50%顯著提升至95%。
1、RAG 檢索召回率
RAG 系統(tǒng)的檢索召回率（Recall）是評(píng)估檢索系統(tǒng)在用戶查詢時(shí)能否有效檢索出所有相關(guān)文檔的標(biāo)準(zhǔn)。在 RAG 系統(tǒng)中，這一指標(biāo)至關(guān)重要，因?yàn)槿绻麢z索階段不能提供充分的上下文信息，那么即便生成模型再先進(jìn)，也難以產(chǎn)生高質(zhì)量的輸出。因此，高的檢索召回率是保障生成內(nèi)容相關(guān)性的關(guān)鍵。
召回率的計(jì)算公式如下：
召回率（Recall）=（檢索到的相關(guān)文檔數(shù) / 數(shù)據(jù)庫(kù)中的總相關(guān)文檔數(shù)）* 100%
以下是一個(gè)示例：
假設(shè)用戶搜索的是“赫爾辛基的瑞典按摩”。
數(shù)據(jù)庫(kù)中共有10篇與查詢相關(guān)的文檔，檢索系統(tǒng)找回了9篇相關(guān)文檔以及1篇不相關(guān)文檔。
召回率的計(jì)算方式為：
圖片
召回率 =（9 / 10）* 100% = 90%
這意味著檢索系統(tǒng)成功找回了90%的相關(guān)文檔。
2、案例剖析
第一、案例背景
在這個(gè)實(shí)例中，我們通過(guò)兩項(xiàng)關(guān)鍵的優(yōu)化措施，將系統(tǒng)的檢索準(zhǔn)確率從原本的50-60%大幅提升至95%以上。項(xiàng)目的初衷是打造一款內(nèi)部聊天機(jī)器人，旨在協(xié)助客戶服務(wù)團(tuán)隊(duì)更迅速地獲取所需信息。
項(xiàng)目啟動(dòng)階段涉及以下步驟：
- 從多個(gè)系統(tǒng)中提取數(shù)據(jù)。
- 對(duì)數(shù)據(jù)進(jìn)行預(yù)處理、分塊（chunking）以及嵌入（embedding）處理。
- 在 Azure AI Search 上構(gòu)建搜索索引。
- 將聊天機(jī)器人與搜索索引相連接。
數(shù)據(jù)集包含了關(guān)于地點(diǎn)（例如水療中心和健身房）和專家（例如按摩師和私人教練）的信息。為了準(zhǔn)備這些數(shù)據(jù)，我們通過(guò)合并文本字段（如描述、城市、地區(qū)）成一個(gè)統(tǒng)一的內(nèi)容字段，并為向量搜索創(chuàng)建了嵌入。
最初，搜索查詢是通過(guò)向量搜索或全文 BM25 搜索對(duì)內(nèi)容字段進(jìn)行的。但是，系統(tǒng)只在50-60%的情況下能夠正確檢索到文檔。
我們發(fā)現(xiàn)，向量搜索并不適合此應(yīng)用場(chǎng)景，因?yàn)樗鼉A向于模糊匹配和語(yǔ)義相似性，而我們的需求是精確匹配。同樣，BM25 搜索也表現(xiàn)不佳，因?yàn)樗谠~頻統(tǒng)計(jì)，導(dǎo)致那些包含更多查詢?cè)~的文檔被優(yōu)先展示，而不是真正相關(guān)的文檔。此外，BM25 搜索在處理芬蘭語(yǔ)詞匯形態(tài)變化時(shí)也存在問(wèn)題，微小的形態(tài)變化就會(huì)阻礙文檔的檢索。
第二、初始方案的問(wèn)題
系統(tǒng)結(jié)合使用了向量搜索和 BM25 全文搜索，但存在以下兩個(gè)問(wèn)題：
- 向量搜索：雖然基于語(yǔ)義相似性，卻不能精確對(duì)應(yīng)特定的服務(wù)或地點(diǎn)。
- BM25 搜索：依賴于關(guān)鍵詞的出現(xiàn)頻率，往往導(dǎo)致含有高頻關(guān)鍵詞但實(shí)際相關(guān)性較低的文檔被優(yōu)先展示。特別是在處理像芬蘭語(yǔ)這樣具有豐富詞形變化的語(yǔ)言時(shí)，BM25 搜索的效果更是大打折扣。
這些問(wèn)題導(dǎo)致了檢索結(jié)果的相關(guān)性不足，從而極大地影響了用戶的體驗(yàn)。
第三、檢索準(zhǔn)確率從 50-60% 提升至 95% 的兩個(gè)技巧
通過(guò)實(shí)施以下兩項(xiàng)重要改進(jìn)措施，系統(tǒng)的檢索準(zhǔn)確率得到了顯著提高：
1.應(yīng)用 LLM 優(yōu)化用戶查詢
改進(jìn)方案：在查詢階段，利用 LLM 將用戶的原始輸入轉(zhuǎn)換成結(jié)構(gòu)化查詢。例如，將“赫爾辛基的瑞典按摩”重寫為服務(wù)字段包含“瑞典按摩”且城市字段為“赫爾辛基”的查詢格式。
實(shí)際成效：這種精確的查詢重寫顯著增強(qiáng)了檢索的相關(guān)性，減輕了 BM25 對(duì)關(guān)鍵詞頻率的依賴。
成本與挑戰(zhàn)：
性能負(fù)擔(dān)：查詢重寫需要實(shí)時(shí)進(jìn)行，可能會(huì)在高流量情況下導(dǎo)致響應(yīng)時(shí)間延長(zhǎng)。
維護(hù)難度：需要不斷優(yōu)化查詢重寫邏輯，以跟上用戶需求的變化。
2.應(yīng)用LLM優(yōu)化索引構(gòu)建
改進(jìn)方案：在索引階段，利用大語(yǔ)言模型（LLM）從非結(jié)構(gòu)化文本中提取服務(wù)信息，創(chuàng)建結(jié)構(gòu)化的服務(wù)列表作為索引字段。例如，從句子“這家水療中心提供瑞典按摩和芳香療法”中提取出“瑞典按摩”和“芳香療法”。
處理非標(biāo)準(zhǔn)化數(shù)據(jù)：通過(guò)預(yù)處理步驟清理拼寫錯(cuò)誤、語(yǔ)言差異等干擾因素，提高模型的一致性。
實(shí)際成效：索引信息的精確度提升，解決了向量搜索中由于模糊匹配導(dǎo)致的相關(guān)性問(wèn)題。
成本與挑戰(zhàn)：
計(jì)算資源：構(gòu)建索引需要大量的計(jì)算資源，尤其是在處理大規(guī)模數(shù)據(jù)時(shí)。
維護(hù)難度：需要不斷更新動(dòng)態(tài)服務(wù)信息，以保持索引的準(zhǔn)確性和有效性。
通過(guò)這兩項(xiàng)技巧，成功地將 RAG 檢索準(zhǔn)確率從50%提升至95%。
3、案例總結(jié)
本案例的核心啟示如下：
關(guān)鍵在于檢索階段的提升：生成質(zhì)量的提高依賴于精準(zhǔn)的檢索輸出。
簡(jiǎn)潔而有效的優(yōu)化：利用 LLM 對(duì)索引和查詢進(jìn)行改進(jìn)，大幅增強(qiáng)了系統(tǒng)表現(xiàn)。
成本與回報(bào)的平衡：盡管計(jì)算和維護(hù)成本有所上升，但由此帶來(lái)的用戶體驗(yàn)增進(jìn)是劃算的。
高效的檢索不僅為生成階段打下了堅(jiān)實(shí)的基礎(chǔ)，同時(shí)也說(shuō)明了技術(shù)改進(jìn)應(yīng)當(dāng)圍繞用戶需求進(jìn)行，避免無(wú)謂的復(fù)雜化。
本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI 作者：玄姐
