今天來分享一篇深度好文：《Golden-Retriever: High-Fidelity Agentic Retrieval Augmented Generation for Industrial Knowledge Base》，我們知道企業(yè)落地RAG系統(tǒng)有以下常見痛點(diǎn)：

1. 技術(shù)公司維護(hù)著大量的專有文檔，如培訓(xùn)材料、設(shè)計(jì)文檔和研究成果。
2. 工程師，尤其是新員工，需要快速查詢這些文檔或吸收其中的新知識(shí)。
3. 這些領(lǐng)域特定的文檔通常包含許多技術(shù)社區(qū)特有的縮寫和術(shù)語(yǔ)，使得導(dǎo)航變得復(fù)雜。

而這篇文章提出了一個(gè)概念：Golden-Retriever，旨在文檔檢索前增加了一個(gè)基于反思的問題增強(qiáng)步驟，并相應(yīng)地增強(qiáng)問題，以克服傳統(tǒng)的LLM微調(diào)和RAG框架在特定領(lǐng)域術(shù)語(yǔ)和上下文解釋方面的挑戰(zhàn)。Golden-Retriever通過識(shí)別和澄清術(shù)語(yǔ)，并增強(qiáng)問題，實(shí)現(xiàn)了對(duì)文檔檢索前的問題增強(qiáng)。這種全面的增強(qiáng)使RAG框架能夠提供清晰的上下文并解決歧義，從而顯著提高了檢索準(zhǔn)確性。通過在特定領(lǐng)域問答數(shù)據(jù)集上進(jìn)行評(píng)估，證明了Golden-Retriever的優(yōu)異性能，為高效地整合和查詢工業(yè)知識(shí)庫(kù)提供了有力的解決方案。

介紹

當(dāng)前的檢索增強(qiáng)生成 (RAG) 技術(shù)在處理工業(yè)知識(shí)庫(kù)中特定領(lǐng)域查詢時(shí)，往往難以達(dá)到理想的效果。例如，對(duì)于一個(gè)問答問題“三星或海力士NAND芯片的PUC架構(gòu)是什么？”的場(chǎng)景，RAG 誤解了"PUC"這個(gè)專業(yè)術(shù)語(yǔ)，錯(cuò)誤地將其解釋為“公共事業(yè)委員會(huì)（Public Utilities Commission）”而不是正確的“細(xì)胞下外圍設(shè)備（Periphery Under Cell）”。這種誤解突顯出了幻覺問題，即模型基于模糊的輸入生成了不正確或無意義的信息。

盡管已有技術(shù)如Corrective-RAG和Self-RAG試圖通過在文檔檢索步驟后修改響應(yīng)來改進(jìn)結(jié)果，但如果初始檢索因誤解術(shù)語(yǔ)或上下文缺乏而存在缺陷，則這些后處理技術(shù)無法完全修正不準(zhǔn)確性。

此外，這些方法主要集中在改進(jìn)檢索后生成的響應(yīng)上。然而，當(dāng)檢索到的文檔本身不相關(guān)時(shí)，這些辦法其實(shí)效果有限。它們并未直接解決根源問題，也就是用戶問題和初始檢索過程之間的歧義性。

另一種方法，由Kochedykov等人提出，試圖通過將模糊問題解構(gòu)為抽象語(yǔ)法樹 (AST)，并據(jù)此合成SQL查詢以解決模糊問題。這種方法雖然提升了查詢的保真度，但它只限于SQL查詢，并不能推廣到更廣泛的問答場(chǎng)景。圖示揭示了這一局限性，說明該方法在消除歧義和構(gòu)造查詢上雖然更有效，但對(duì)于重要的上下文和術(shù)語(yǔ)解釋的普通檢索任務(wù)來說，它并不適用。

我們提出了 Golden-Retriever，這是 RAG 的?種代理衍?產(chǎn)品，其特點(diǎn)是在?檔檢索之前進(jìn)?基于反射的問題增強(qiáng)，使 RAG 能夠檢索到最相關(guān)的?檔，盡管術(shù)語(yǔ)含糊不清且缺乏上下?。下面是對(duì)這三種方式的流程說明：

image-20240823110951416

方法

Golden-Retriever由離線和在線兩部分組成。離線部分是部署知識(shí)庫(kù)聊天機(jī)器人之前進(jìn)行的數(shù)據(jù)預(yù)處理步驟。在線部分是每次用戶提問時(shí)發(fā)生的交互過程，下面給出對(duì)應(yīng)的流程圖，左側(cè)是Golden-Retriever在線推理部分的工作流程圖。右側(cè)是系統(tǒng)與LLM在工作流程中間步驟的示例交互。系統(tǒng)提示LLM生成中間響應(yīng)，這些響應(yīng)被保存、訪問，并用于工作流程的步驟。

2.1 LLM對(duì)文檔進(jìn)行總結(jié)

Golden-Retriever的離線部分專注于增強(qiáng)文檔數(shù)據(jù)庫(kù)，以提高檢索到的文檔的相關(guān)性。此過程首先收集公司的原始文檔，例如幻燈片、嵌入文本的圖像和表格，以形成知識(shí)庫(kù)。這些文檔的格式和內(nèi)容通常各不相同，缺乏清晰的敘述，這會(huì)導(dǎo)致使用RAG查詢時(shí)相關(guān)性得分較低。

為了解決這個(gè)問題，我們使用OCR從這些文檔中提取文本，并將其拆分成更小、更易于管理的塊進(jìn)行處理。對(duì)于Meta-Llama-3模型，這些塊每個(gè)大約有4,000個(gè)標(biāo)記。然后使用LLM處理每個(gè)塊，以從領(lǐng)域?qū)＜业慕嵌壬烧肔LM的語(yǔ)義理解和上下文學(xué)習(xí)能力。這些增強(qiáng)數(shù)據(jù)被添加到文檔數(shù)據(jù)庫(kù)中，使其在查詢時(shí)更可能檢索到相關(guān)文檔。

2.2 識(shí)別術(shù)語(yǔ)

在線流程的第一步是識(shí)別用戶問題中的術(shù)語(yǔ)和縮寫。此步驟至關(guān)重要，因?yàn)樵S多特定領(lǐng)域的問題都包含需要澄清以確保準(zhǔn)確解釋的專業(yè)術(shù)語(yǔ)。為了識(shí)別這些術(shù)語(yǔ)，我們使用了一個(gè)提示模板，該模板旨在指導(dǎo)LLM提取并列出輸入問題中發(fā)現(xiàn)的所有術(shù)語(yǔ)和縮寫。此過程可以確保識(shí)別所有可能產(chǎn)生歧義的術(shù)語(yǔ)，從而有助于在后續(xù)步驟中解決它們。已識(shí)別的術(shù)語(yǔ)和縮寫以結(jié)構(gòu)化格式輸出供進(jìn)一步處理。

2.3 識(shí)別背景

在識(shí)別出專業(yè)術(shù)語(yǔ)后，確定提問的上下文非常重要，因?yàn)樾g(shù)語(yǔ)的含義在不同上下文中可能有很大差異。例如，“RAG”在人工智能的上下文中可能表示“檢索增強(qiáng)生成”，而在遺傳學(xué)中可能表示“重組激活基因”。為了準(zhǔn)確解釋上下文，我們使用了與專業(yè)術(shù)語(yǔ)識(shí)別類似的反思步驟，涉及設(shè)計(jì)提示模板。

雖然可以使用更簡(jiǎn)單的方法，例如基于轉(zhuǎn)換器的文本分類器，對(duì)用戶進(jìn)行分類意圖，但這將需要一個(gè)專門的訓(xùn)練數(shù)據(jù)集。這對(duì)于我們的應(yīng)用程序來說是不切實(shí)際的，因?yàn)閯?chuàng)建這樣一個(gè)數(shù)據(jù)集需要大量的努力和資源。

相反，我們選擇了“使用LLM作為后端”的方法，盡管會(huì)招致較高的計(jì)算成本，但無需專用的訓(xùn)練數(shù)據(jù)集，可以高效運(yùn)行在本地服務(wù)器上。事先識(shí)別上下文可以幫助我們準(zhǔn)確理解和處理用戶輸入。

2.4 查詢術(shù)語(yǔ)

一旦確定了術(shù)語(yǔ)和上下文，下一步就是查詢術(shù)語(yǔ)詞典，獲取已識(shí)別術(shù)語(yǔ)的擴(kuò)展定義、描述和注釋。此步驟對(duì)于向用戶提供術(shù)語(yǔ)的準(zhǔn)確解釋至關(guān)重要，確保擴(kuò)展問題清晰無歧義。

此過程涉及使用在2.2節(jié)中確定的術(shù)語(yǔ)列表查詢SQL數(shù)據(jù)庫(kù)。術(shù)語(yǔ)列表被插入到SQL查詢模板中，然后經(jīng)過處理從術(shù)語(yǔ)詞典中檢索相關(guān)信息。檢索到的信息包括擴(kuò)展名稱、詳細(xì)描述以及任何有關(guān)術(shù)語(yǔ)的相關(guān)注釋。

我們選擇不使用LLM直接生成SQL查詢，使用LLM生成SQL查詢可能會(huì)帶來查詢質(zhì)量和安全性方面的不確定性，并且還會(huì)增加推理成本。相反，通過使用基于代碼的方法來合成SQL查詢，我們可以確保查詢是可驗(yàn)證的安全和可靠的。

從這一步獲得的詳細(xì)信息對(duì)于補(bǔ)充用戶的原始問題至關(guān)重要。它允許準(zhǔn)確的上下文和術(shù)語(yǔ)解釋，這對(duì)于RAG流程檢索最相關(guān)的文檔并生成精確的答案至關(guān)重要。

2.5 擴(kuò)充問題

確定了術(shù)語(yǔ)定義和上下文后，下一步是擴(kuò)充用戶的原始問題以包含這些附加信息。此擴(kuò)充可確保RAG流程通過提供清晰的上下文并解決問題中的任何歧義來檢索最相關(guān)的文檔。

此步驟涉及將原始問題與上下文信息以及從2.3和2.4部分獲得的詳細(xì)術(shù)語(yǔ)定義相結(jié)合。增強(qiáng)型問題明確地陳述了上下文，并澄清了任何模棱兩可的術(shù)語(yǔ)，從而有助于增強(qiáng)文檔檢索。

該過程是自動(dòng)化的，代碼將原始問題以及上下文和術(shù)語(yǔ)識(shí)別步驟的結(jié)果組合成一個(gè)結(jié)構(gòu)化的模板。然后，增強(qiáng)問題將替換用戶的原始問題，并用作RAG框架的輸入，確保檢索到最相關(guān)、最準(zhǔn)確的文檔。

2.6 查詢未命中響應(yīng)

在某些情況下，系統(tǒng)可能在詞典中找不到某些術(shù)語(yǔ)的相關(guān)信息。為了處理這種情況，GoldenRetriever 有一個(gè)后備機(jī)制，可以合成一個(gè)響應(yīng)，表明數(shù)據(jù)庫(kù)由于缺少信息無法回答問題。

系統(tǒng)提示用戶檢查術(shù)語(yǔ)的拼寫或聯(lián)系知識(shí)庫(kù)管理員添加新術(shù)語(yǔ)。此步驟可確保系統(tǒng)保持高保真度并避免生成不正確或誤導(dǎo)性的響應(yīng)。未識(shí)別的術(shù)語(yǔ)適合于響應(yīng)模板，提示用戶檢查拼寫并聯(lián)系知識(shí)庫(kù)管理員添加新術(shù)語(yǔ)。

評(píng)估

使用針對(duì)工程師新員工培訓(xùn)文檔中的六個(gè)不同領(lǐng)域的測(cè)驗(yàn)作為測(cè)試問題。所有問題都是多項(xiàng)選擇題。顯示的是五次試驗(yàn)的平均得分。最佳得分用粗體顯示。

通過在特定領(lǐng)域的問答數(shù)據(jù)集上的評(píng)估，Golden-Retriever在多個(gè)開源LLM上表現(xiàn)出色，與傳統(tǒng)的RAG方法相比，顯著提高了答案的準(zhǔn)確性。與Vanilla LLM和RAG相比，Golden-Retriever分別將Meta-Llama-3-70B的總分提高了79.2%和40.7%。在測(cè)試的所有三種大型語(yǔ)言模型中，平均將得分提高了57.3%。

總結(jié)

Golden-Retriever 主要完成了兩項(xiàng)任務(wù)：首先，它在構(gòu)建企業(yè)數(shù)據(jù)庫(kù)時(shí)利用LLM生成摘要信息來替代原始文檔，以提高檢索的召回率。其次，利用術(shù)語(yǔ)庫(kù)重構(gòu)原始問題，進(jìn)行指代消歧。

在方案實(shí)現(xiàn)上，通過術(shù)語(yǔ)庫(kù)重構(gòu)問題確實(shí)可以避免歧義，但是這需要多次調(diào)用LLM進(jìn)行術(shù)語(yǔ)識(shí)別、上下文理解和問題重構(gòu)等操作。在實(shí)際工業(yè)落地實(shí)施中，效率和術(shù)語(yǔ)庫(kù)的規(guī)模可能會(huì)成為關(guān)鍵考慮因素。

本文轉(zhuǎn)載自公眾號(hào)AI 博物院 作者：longyunfeigu

原文鏈接：??https://mp.weixin.qq.com/s/KBugGNicqRkL2UVnpe3bdg??