在本系列的第一篇文章中，我們介紹了檢索增強(qiáng)生成 (RAG) ，并解釋了擴(kuò)展傳統(tǒng)大型語言模型 (LLM)功能的必要性。我們還簡(jiǎn)要概述了 RAG 的核心思想：從外部知識(shí)庫中檢索上下文相關(guān)的信息，以確保 LLM 生成準(zhǔn)確且最新的信息，而不會(huì)產(chǎn)生幻覺，也無需不斷地重新訓(xùn)練模型。

本系列的第二篇文章將揭秘傳統(tǒng) RAG 系統(tǒng)運(yùn)行的機(jī)制。盡管如今隨著人工智能的迅猛發(fā)展，各種增強(qiáng)版和更復(fù)雜的 RAG 版本幾乎每天都在涌現(xiàn)，但要理解最新的 RAG 方法，第一步是理解經(jīng)典的 RAG 工作流程。

經(jīng)典 RAG 工作流程

Retrieval-Augmented Generation (RAG) 系統(tǒng)是一種創(chuàng)新的架構(gòu)，它結(jié)合了傳統(tǒng)的語言模型（LM）和信息檢索（IR）技術(shù)的優(yōu)點(diǎn)，以提供更加精準(zhǔn)和上下文相關(guān)的文本生成能力。下面是對(duì) RAG 系統(tǒng)三個(gè)關(guān)鍵組件的詳細(xì)擴(kuò)展說明：

1. 預(yù)訓(xùn)練的語言模型（LLM）

預(yù)訓(xùn)練的語言模型是 RAG 系統(tǒng)的基礎(chǔ)，它通常基于深度學(xué)習(xí)框架，如Transformer架構(gòu)。這些模型通過在大量的未標(biāo)注文本文檔上進(jìn)行自我監(jiān)督學(xué)習(xí)來獲取知識(shí)。這些數(shù)據(jù)集可能包含從數(shù)百萬到數(shù)十億的文檔，覆蓋廣泛的主題和領(lǐng)域。例如，GPT、BERT等著名模型都是通過這種方式訓(xùn)練得到的。它們能夠理解語言的復(fù)雜性，包括語法結(jié)構(gòu)、語義關(guān)系以及不同文本之間的聯(lián)系。這使得它們可以執(zhí)行各種任務(wù)，如文本生成、問答、摘要等。

2. 向量數(shù)據(jù)庫/知識(shí)庫

向量數(shù)據(jù)庫，也稱為知識(shí)庫，在RAG系統(tǒng)中扮演著至關(guān)重要的角色。其主要功能是存儲(chǔ)經(jīng)過處理的文本文檔，但與傳統(tǒng)數(shù)據(jù)庫不同的是，這里的文檔是以向量形式存儲(chǔ)的。向量化過程涉及到將文本轉(zhuǎn)換成數(shù)值表示，即所謂的嵌入向量。每個(gè)單詞、句子或整個(gè)文檔都可以被轉(zhuǎn)化為一個(gè)高維空間中的點(diǎn)，其中每個(gè)維度代表原始文本的一個(gè)特征。這種表示方式能夠捕捉文本的語義信息，使得相似含義的文本片段在向量空間中彼此接近。

這種方法有幾個(gè)顯著的優(yōu)勢(shì)：

• 高效檢索：通過計(jì)算查詢向量與數(shù)據(jù)庫中文檔向量之間的相似度（如余弦相似度），可以快速找到最相關(guān)的文檔。
• 保持語義關(guān)聯(lián)：由于相似的文本內(nèi)容在向量空間中相互靠近，因此即使查詢和目標(biāo)文本之間沒有精確匹配的詞語，也可以找到語義相關(guān)的結(jié)果。
• 靈活性：向量數(shù)據(jù)庫支持動(dòng)態(tài)更新，允許添加新的文檔而不必重新訓(xùn)練整個(gè)模型。

3. 查詢或提示

用戶通過自然語言提出查詢或提示，這是與RAG系統(tǒng)交互的主要方式。當(dāng)接收到用戶的查詢時(shí)，系統(tǒng)首先將其轉(zhuǎn)化為向量形式，然后使用上述提到的向量數(shù)據(jù)庫來搜索相關(guān)內(nèi)容。這個(gè)過程不僅依賴于語言模型的理解能力，還需要有效地利用向量數(shù)據(jù)庫中的信息。一旦找到了相關(guān)的文檔或段落，它們就會(huì)被用作額外的知識(shí)來源，幫助調(diào)整或補(bǔ)充由語言模型生成的回答，確保最終輸出既準(zhǔn)確又具有上下文相關(guān)性。

總之，RAG系統(tǒng)通過整合語言模型的強(qiáng)大表達(dá)能力和向量數(shù)據(jù)庫的高效檢索機(jī)制，實(shí)現(xiàn)了對(duì)復(fù)雜查詢的更深入理解和響應(yīng)。這種架構(gòu)特別適用于那些需要高度定制化和背景感知的應(yīng)用場(chǎng)景，比如專業(yè)領(lǐng)域的問答系統(tǒng)、個(gè)性化推薦引擎等。

當(dāng)用戶用自然語言向配備 RAG（Retrieval-Augmented Generation）引擎的 LLM 助手提出問題時(shí)，整個(gè)過程可以分為以下三個(gè)關(guān)鍵階段：

1. 檢索（Retrieval）

在這個(gè)階段，RAG 系統(tǒng)中的一個(gè)核心組件——檢索器（Retriever）——開始工作。檢索器的任務(wù)是從矢量數(shù)據(jù)庫中查找與用戶查詢相關(guān)的文檔或片段。

• 如何實(shí)現(xiàn)？

     a.用戶的自然語言查詢首先被轉(zhuǎn)化為一個(gè)數(shù)值表示（向量），通常是通過一個(gè)預(yù)訓(xùn)練的嵌入模型（如 Sentence-BERT 或其他文本編碼器）完成。

     b.這個(gè)查詢向量隨后與矢量數(shù)據(jù)庫中的文檔向量進(jìn)行比較，尋找語義上最接近的匹配項(xiàng)。

     c.最終，檢索器會(huì)返回一組與查詢高度相關(guān)的文檔或段落。

• 為什么重要？

     a.檢索器確保了系統(tǒng)能夠從外部知識(shí)庫中獲取最新的、相關(guān)的上下文信息，而不僅僅是依賴于 LLM 訓(xùn)練數(shù)據(jù)中可能過時(shí)的知識(shí)。 

     b.這種機(jī)制特別適合需要實(shí)時(shí)更新或?qū)I(yè)知識(shí)的場(chǎng)景。

2. 增強(qiáng)（Augmentation）

在檢索到相關(guān)文檔后，RAG 系統(tǒng)會(huì)將這些文檔的內(nèi)容與用戶的原始查詢結(jié)合起來，形成一個(gè)增強(qiáng)版的查詢。

• 如何實(shí)現(xiàn)？

     a.檢索到的相關(guān)文檔會(huì)被整合到用戶的輸入中，通常是以附加上下文的形式呈現(xiàn)。

     b.例如，如果用戶問“什么是量子計(jì)算？”檢索到的相關(guān)文檔可能會(huì)包含關(guān)于量子計(jì)算的基本定義和原理，這些內(nèi)容會(huì)被加入到查詢中，作為生成器的輸入。

• 為什么重要？

      a.增強(qiáng)后的查詢?yōu)?LLM 提供了額外的背景信息，幫助它更好地理解問題的語境和需求。 

      b.這一步顯著提高了生成內(nèi)容的相關(guān)性和準(zhǔn)確性，尤其是在處理復(fù)雜或?qū)I(yè)領(lǐng)域的問題時(shí)。

3. 生成（Generation）

最后，增強(qiáng)后的查詢被傳遞給 LLM（也稱為生成器），由它生成最終的答案。

• 如何實(shí)現(xiàn)？

     a.LLM 接收到帶有上下文信息的增強(qiáng)查詢后，利用其強(qiáng)大的語言生成能力，基于提供的相關(guān)信息生成響應(yīng)。

     b.生成的文本不僅反映了用戶問題的核心，還融入了從外部知識(shí)庫中檢索到的事實(shí)性內(nèi)容。

• 為什么重要？

     a.生成器結(jié)合了 LLM 的語言表達(dá)能力和外部知識(shí)庫的事實(shí)性信息，從而生成更精確、更真實(shí)、更符合用戶需求的回答。

     b.這種機(jī)制避免了純 LLM 可能產(chǎn)生的“幻覺”問題（即生成的內(nèi)容雖然流暢但與事實(shí)不符）。

實(shí)際應(yīng)用場(chǎng)景示例

假設(shè)用戶提問：“為什么天空是藍(lán)色的？”

1. 檢索：

• 檢索器將查詢轉(zhuǎn)化為向量，并從矢量數(shù)據(jù)庫中找到與“天空顏色”相關(guān)的科學(xué)解釋文檔。

2. 增強(qiáng)：

• 將檢索到的文檔內(nèi)容（如光散射原理）與用戶查詢結(jié)合起來，形成增強(qiáng)版查詢：“為什么天空是藍(lán)色的？因?yàn)楣馍⑸洮F(xiàn)象導(dǎo)致藍(lán)光更容易被大氣層散射?！?/span>

3. 生成：

• LLM 根據(jù)增強(qiáng)版查詢生成答案：“天空看起來是藍(lán)色的，是因?yàn)殛柟膺M(jìn)入地球大氣層時(shí)，短波長的藍(lán)光比其他顏色的光更容易被空氣分子散射。這種現(xiàn)象被稱為瑞利散射?！?/span>

通過這三個(gè)階段，RAG 系統(tǒng)不僅提供了準(zhǔn)確的答案，還確保了答案的科學(xué)性和可信度。

檢索器工作原理

檢索器是RAG系統(tǒng)中負(fù)責(zé)查找與用戶查詢相關(guān)的信息的關(guān)鍵部分。它不僅僅是簡(jiǎn)單的關(guān)鍵詞匹配工具，而是一個(gè)能夠理解查詢語義的高級(jí)搜索引擎。

• 相似性搜索：這是檢索器工作的核心機(jī)制。首先，用戶的查詢被轉(zhuǎn)換成一個(gè)向量（通常是通過嵌入模型實(shí)現(xiàn)）。然后，這個(gè)向量會(huì)與矢量數(shù)據(jù)庫中的所有文檔向量進(jìn)行比較。常用的相似度計(jì)算方法包括余弦相似度、歐幾里得距離等。通過這些數(shù)學(xué)計(jì)算，可以找到與查詢向量最接近的文檔向量，從而確定哪些文檔最有可能包含用戶尋找的答案。
• 上下文感知：除了基本的相似性搜索外，現(xiàn)代檢索器還能夠理解查詢背后的上下文。這意味著即使查詢中沒有直接提及某些關(guān)鍵字，如果它們?cè)谡Z義上相關(guān)，檢索器仍然可以找到合適的文檔。這極大地提高了檢索結(jié)果的相關(guān)性和準(zhǔn)確性。

生成器工作原理

生成器通常指的是基于Transformer架構(gòu)的大規(guī)模語言模型(LLM)，其任務(wù)是在接收到來自檢索器的增強(qiáng)輸入后，生成高質(zhì)量的回答。

• 編碼與解碼：在Transformer架構(gòu)中，輸入首先通過編碼器轉(zhuǎn)化為一系列隱藏表示。這些隱藏表示捕捉了輸入文本的深層語義信息。接著，解碼器使用這些隱藏表示逐字生成輸出文本。在每個(gè)步驟中，解碼器不僅依賴于之前的隱藏狀態(tài)，還要預(yù)測(cè)下一個(gè)單詞是什么，確保生成的文本連貫且符合邏輯。
• 下一個(gè)單詞預(yù)測(cè)：這是生成過程的核心問題。給定前面的所有單詞，模型需要預(yù)測(cè)出最可能的下一個(gè)單詞。這個(gè)過程涉及復(fù)雜的概率計(jì)算，旨在選擇那些既合乎語法又保持內(nèi)容一致性的單詞。隨著每次預(yù)測(cè)的完成，新生成的單詞會(huì)被添加到已有的序列中，作為下一次預(yù)測(cè)的基礎(chǔ)，直到滿足停止條件（如達(dá)到最大長度或生成了特定的結(jié)束標(biāo)記）。

總的來說，檢索器通過高效的相似性搜索技術(shù)來識(shí)別最相關(guān)的文檔片段，并為生成器提供必要的上下文信息；而生成器則利用這些信息以及自身的語言理解能力來產(chǎn)生精確、流暢且上下文相關(guān)的回答。這種組合使得RAG系統(tǒng)能夠在各種應(yīng)用場(chǎng)景中表現(xiàn)出色，特別是在需要準(zhǔn)確知識(shí)理解和復(fù)雜語言處理的任務(wù)中。

小結(jié)

在本系列關(guān)于理解 RAG 的下一篇文章中，我們將揭示RAG 的融合方法，其特點(diǎn)是使用專門的方法組合來自多個(gè)檢索到的文檔的信息，從而增強(qiáng)生成響應(yīng)的上下文。

RAG 中融合方法的一個(gè)常見示例是重新排序，它根據(jù)用戶相關(guān)性對(duì)檢索到的多個(gè)文檔進(jìn)行評(píng)分和優(yōu)先級(jí)排序，然后將最相關(guān)的文檔傳遞給生成器。這有助于進(jìn)一步提升增強(qiáng)上下文的質(zhì)量，以及語言模型最終生成的響應(yīng)。