檢索增強(qiáng)生成（RAG）是一種通過外部知識(shí)源增強(qiáng)現(xiàn)有大型語言模型（LLM）的方法，以提供和上下文更相關(guān)的答案。在RAG中，檢索組件獲取額外的信息，使響應(yīng)基于特定來源，然后將這些信息輸入到LLM提示中，以使LLM的響應(yīng)基于這些信息（增強(qiáng)階段）。與其他技術(shù)（例如微調(diào)）相比，RAG更經(jīng)濟(jì)。它還有減少幻覺的優(yōu)勢，通過為LLM提供額外的上下文——使RAG成為今天LLM任務(wù)（如推薦、文本提取、情感分析等）的流行方法。

如果我們進(jìn)一步分解這個(gè)想法，根據(jù)用戶意圖，我們通常會(huì)查詢一個(gè)向量數(shù)據(jù)庫。向量數(shù)據(jù)庫使用連續(xù)的向量空間來捕捉兩個(gè)概念之間的關(guān)系，使用基于接近度的搜索。

向量數(shù)據(jù)庫概述

在向量數(shù)據(jù)庫中，無論是文本、圖像、音頻還是任何其他類型的信息，都被轉(zhuǎn)換為向量。向量是數(shù)據(jù)在高維空間的數(shù)值表示。每個(gè)維度對(duì)應(yīng)數(shù)據(jù)的一個(gè)特征，每個(gè)維度中的值反映了該特征的強(qiáng)度或存在。

在向量數(shù)據(jù)庫中進(jìn)行基于接近度的搜索，涉及使用另一個(gè)向量查詢這些數(shù)據(jù)庫，并搜索在向量空間中“接近”它的向量。向量之間的接近度通常由距離度量來確定，例如歐幾里得距離、余弦相似度或曼哈頓距離。

當(dāng)您在向量數(shù)據(jù)庫中執(zhí)行搜索時(shí)，您提供了一個(gè)系統(tǒng)將其轉(zhuǎn)換為向量的查詢。然后數(shù)據(jù)庫計(jì)算這個(gè)查詢向量與數(shù)據(jù)庫中已經(jīng)存儲(chǔ)的向量之間的距離或相似性。那些最接近查詢向量的向量（根據(jù)所選度量）被認(rèn)為是最相關(guān)的結(jié)果。

基于接近度的搜索在向量數(shù)據(jù)庫中特別強(qiáng)大，適用于推薦系統(tǒng)、信息檢索和異常檢測等任務(wù)。

這種方法使系統(tǒng)能夠更直觀地運(yùn)行，并通過理解數(shù)據(jù)中的上下文和深層含義，更有效地響應(yīng)用戶查詢，而不是僅依賴于表面匹配。

然而，向量數(shù)據(jù)庫在接近度搜索方面有一些限制，例如數(shù)據(jù)質(zhì)量、處理動(dòng)態(tài)知識(shí)的能力以及透明度。

RAG的限制

根據(jù)文檔的大小，RAG大致分為三類：如果文檔很小，可以上下文訪問；如果文檔很大（或有多個(gè)文檔），在查詢時(shí)生成較小的塊，這些塊被索引并用于響應(yīng)查詢。

盡管取得了成功，RAG也有一些缺點(diǎn)。

衡量RAG性能的兩個(gè)主要指標(biāo)是困惑度和幻覺，困惑度代表在文本生成過程中同等可能的下一個(gè)詞的選擇數(shù)量。即語言模型在其選擇上的“困惑”程度。幻覺是AI做出的不真實(shí)或想象的陳述。

雖然RAG有助于減少幻覺，但它并沒有消除它。如果您有一個(gè)小而簡潔的文檔，您可以減少困惑度（因?yàn)長LM的選擇很少），并減少幻覺（如果您只詢問文檔中的內(nèi)容）。當(dāng)然，另一方面是，一個(gè)單一的小文檔會(huì)導(dǎo)致一個(gè)微不足道的應(yīng)用。對(duì)于更復(fù)雜的應(yīng)用，您需要一種提供更多上下文的方法。

例如，考慮單詞“bark”——我們至少有兩個(gè)不同的上下文：

樹的上下文：“橡樹粗糙的樹皮保護(hù)它免受寒冷。”

狗的上下文：“鄰居的狗每當(dāng)有人經(jīng)過他們的房子時(shí)，都會(huì)大聲叫。”

提供更多上下文的一種方法是將RAG與知識(shí)圖譜結(jié)合（一個(gè)GRAPHRAG）。

在知識(shí)圖譜中，這些單詞將與它們相關(guān)的上下文和含義連接起來。例如，“bark”將與代表“樹”和“狗”的節(jié)點(diǎn)連接。其他連接可以指示常見動(dòng)作（例如，樹的“保護(hù)”、狗的“制造噪音”）或?qū)傩裕ɡ纾瑯涞摹按植凇薄⒐返摹绊懥痢保＿@種結(jié)構(gòu)化信息允許語言模型根據(jù)句子中的其他單詞或?qū)υ挼目傮w主題選擇適當(dāng)?shù)囊饬x。

在接下來的部分中，我們將看到RAG的局限性以及GRAPHRAG如何解決這些局限性。

原文標(biāo)題：Understanding GraphRAG – 1: The challenges of RAG

原文作者：ajitjaokar