提升LLM結果：何時使用知識圖譜RAG
通過知識圖譜增強 RAG 可以幫助檢索，使系統能夠更深入地挖掘數據集以提供詳細的響應。
譯自Boost LLM Results: When to Use Knowledge Graph RAG，作者 Brian Godsey。
有時，檢索增強生成 (RAG) 系統無法深入文檔集以找到所需的答案。我們可能會得到泛泛的或膚淺的回復，或者我們可能會得到回復，其中RAG系統檢索到的細節很少，然后用不相關或不正確的信息填補空白——這被稱為“幻覺”。
深度知識庫和文檔集可能包含我們用 RAG 提示回答問題所需的所有信息，但RAG 系統可能無法找到所有信息，尤其是在所需信息分散在多個文檔和不同主題或子主題中的情況下。特別是，向量檢索通常會產生一組很好的文檔，但這些文檔中的一些概念需要更多信息才能讓系統理解它們，因此直接檢索與這些概念相關的其他文檔將很有幫助。
以下是一些可能存在這些問題的類型的數據集：
- 經常相互引用的文檔集合。
- 包含章節、術語定義和詞匯表的文檔，其中檢查交叉引用是了解給定主題的完整情況的唯一方法。
- 大型維基或知識庫，其中幾乎每段都包含指向其他頁面和外部網站的 HTML 鏈接。
此類數據集通常存在于：
- 法律文件
- 技術文檔
- 研究和學術出版物
- 高度互聯的網站
如果您的組織擁有深度且復雜的數據集，其中包含相互關聯的文檔和其他內容，則標準 RAG 實現可能無法成功解決一些最常見的用例，尤其是在提示要求提供詳細的解釋時，這些解釋包括廣泛和高度具體的層面的信息。將實現轉換為圖 RAG，這意味著用知識圖譜增強 RAG 系統，該圖譜可以幫助檢索，可以使系統能夠更深入地挖掘數據集，以提供對請求詳細和專業信息的提示的詳細且正確的響應。
讓我們探討知識圖譜如何提高 RAG 系統性能的關鍵概念，這種圖譜可能是什么樣子以及如何開始在您自己的數據上構建圖 RAG 系統。
圖譜如何提供幫助？
簡而言之，知識圖譜與向量存儲相結合，可以提供一種方法來直接連接在向量空間中可能不接近或不相似，因此在檢索過程中不會被認為是“相關”的文本塊。
典型的 RAG 系統從向量存儲中檢索與提示最相關的文檔（或“塊”，根據向量相似性的度量。如果這些文檔包含指向其他文檔的鏈接或引用，那么很明顯，文檔的作者認為它們是有意義地相關的。如果文檔是有意義地相關的，為什么我們不想利用這些信息來更深入地挖掘并獲得更多可能有助于回答提示的細節？
重述一下情況：我們擁有通過鏈接或引用明確且直接相關的文檔，我們希望確保我們的 RAG 系統在檢索文檔時考慮這些連接。構建一個鏈接文檔的網絡會產生一個圖結構，我們可以遍歷該結構以找到在典型文檔檢索過程中可能無法找到的相關文檔，使用圖來增強 RAG；這被稱為圖 RAG。
主要思想是我們已經擁有一個隱式且高置信度的圖，它通過直接鏈接和引用將文檔相互關聯，我們希望我們的 RAG 系統在依賴不太確定的向量相似性和相關性分數來填充響應中的細節之前，充分利用這些已知的、高確定性的連接，這將有更高的風險以幻覺進行響應。
我們可以使用哪些類型的連接？
定義圖的可能性是無限的，但我們發現，在圖 RAG 中使用最有效和最有效的連接類型是那些定義明確且有意義的連接。也就是說，我們希望清楚地知道什么是連接，什么是沒有連接的，因此我們傾向于避免為模糊的概念（如一般主題和情感）定義連接。我們希望這些連接是有意義的，從某種意義上說，兩個文檔在圖中存在連接使得每個文檔中的內容很可能與另一個文檔相關。以下是定義圖 RAG 中文檔之間連接的一些最有用方法。
HTML 鏈接
如今，連接文檔最清晰、最明顯的方法之一是在一個文檔中直接鏈接到另一個文檔，從 HTML 鏈接在基于 Web 的文檔中的意義上來說。從人類的角度（而不是 AI 的角度）來看，如果我們點擊一個文檔中的鏈接并最終到達另一個文檔，那么它們之間就存在一個鏈接。這可以通過任何數量的鏈接提取工具在軟件中定義和實現。通常，文檔的作者添加鏈接是有原因的，因此它們之間存在有意義的連接。這樣，HTML 鏈接是我們可以在知識圖中使用的文檔之間最明確和最有意義的鏈接之一。
從 HTML 鏈接構建知識圖在技術文檔和大型維基或知識庫等數據集上非常有效。這些類型的數據集的互連性質使得圖 RAG 特別適用于深入研究專業細節、定義和子主題，這些細節、定義和子主題可能無法通過向量搜索單獨找到。
從 HTML 文檔中提取鏈接的一些示例代碼：
from bs4 import BeautifulSoup
from ragstack_langchain.graph_store.extractors import HtmlLinkEdgeExtractor
html_link_extractor = HtmlLinkEdgeExtractor()
# starting with an HTML document called `html`
soup = BeautifulSoup(html.page_content, "html.parser")
content = select_content(soup, url)
# Extract HTML links from the content.
html_link_extractor.extract_one(html, content)有關使用 HTML 鏈接提取構建圖的圖 RAG 的端到端示例，請查看最近的這篇文章，“使用以內容為中心的知識圖實現更好的 LLM 集成和相關性”。
關鍵詞和主題
雖然從基于一般主題或情感的連接構建圖對于圖 RAG 的目的來說可能過于模糊和不確定，但通?？梢允褂枚x明確且有意義的高度專業化的關鍵詞和主題。特別是，專業領域內的關鍵詞可以有效地用于在圖 RAG 中建立文檔之間的連接。專業關鍵詞并不總是包含在文檔的向量嵌入表示中，因此將從知識圖提供的更強大、更刻意連接中受益。
有一些優秀的工具可以提取關鍵詞；以下是如何使用“keyBERT”提取關鍵詞的簡單示例：
from keybert import KeyBERT
doc = """
Supervised learning is the machine learning task of learning a function that
maps an input to an output based on example input-output pairs. It infers a
function from labeled training data consisting of a set of training examples.
In supervised learning, each example is a pair consisting of an input object
(typically a vector) and a desired output value (also called the supervisory signal).
A supervised learning algorithm analyzes the training data and produces an inferred function,
which can be used for mapping new examples. An optimal scenario will allow for the
algorithm to correctly determine the class labels for unseen instances. This requires
the learning algorithm to generalize from the training data to unseen situations in a
'reasonable' way (see inductive bias).
"""
kw_model = KeyBERT()
keywords = kw_model.extract_keywords(doc)這將提取專業領域關鍵詞：
>>> kw_model.extract_keywords(doc, keyphrase_ngram_range=(1, 2), stop_words=None)
[('learning algorithm', 0.6978),
('machine learning', 0.6305),
('supervised learning', 0.5985),
('algorithm analyzes', 0.5860),
('learning function', 0.5850)]我們將這些關鍵詞如何轉化為知識圖取決于我們的用例和數據模型。一個例子可以在RAGStack 文檔關于知識圖 RAG 的部分中找到。
使用有意義的關鍵詞作為節點構建圖，這些節點連接到包含它們的文檔，這可能是一種有效的圖 RAG 策略。請注意，要通過圖將文檔相互連接，我們必須遍歷圖到深度為 2 或更大：從文檔到其關鍵詞的一步，以及到包含這些關鍵詞的其他文檔的第二步。
術語和定義
在法律文件、學術出版物和研究作品中，我們有術語和定義作為列表或詞匯表，通常出現在文檔的開頭或結尾。在這些情況下，在整個文檔中引用這些術語和定義非常有用，這樣我們就可以始終清楚地了解所表達的內容。如果沒有這些術語的定義，文檔的某些部分可能會變得模糊或幾乎毫無意義。
一個特別恰當的例子是大量文檔的情況，這些文檔是租戶和房東之間的合同；我們將使用我們的 RAG 系統查詢它們。這些文檔通常會在加載到數據存儲之前進行分塊，這意味著出現在文檔開頭或結尾的任何術語和定義本身并不包含在分塊中。由于存在許多不同租戶和房東之間的合同，任何引用“租戶”或“房東”一詞的分塊在沒有將其與所討論的特定租戶和特定房東聯系起來的情況下將是模棱兩可的。
在這種情況下，擁有一個明確地將文檔片段與其中出現的術語的適當定義連接起來的知識圖將非常有用。提取這些定義和術語以及將它們連接到文檔的正確片段的具體實現將取決于原始文檔本身的格式、術語表或定義相對于文檔其余部分的結構等。許多文本和文檔解析器可用于此目的，并且正在進行工作以將該過程標準化為圖 RAG。
當文檔被分割并加載到向量存儲中時，除非我們以某種方式捕獲它，否則文檔結構中所有超出片段的部分都會丟失。對于許多 RAG 用例，系統能夠知道每個文檔片段在文檔的整體結構中的位置、所有標題和副標題、頁碼以及哪些片段緊接在給定片段之前和之后將非常有用。
在與每個片段連接的知識圖中保留此信息對于圖 RAG 的目的有兩個主要優勢。首先，了解片段在文檔中的位置使我們能夠提取附近的文本，這可能是緊接在片段之前和之后的片段、同一頁面的文本或同一部分的文本——所有這些都可能為初始片段中提到的主題提供支持證據和細節。其次，一些文檔包含對其他部分編號、標題和頁碼的交叉引用，因此擁有一個允許 RAG 系統直接檢索所引用部分中的片段的知識圖將非常有用。
我們在這篇關于以內容為中心的知識圖的文章中詳細介紹了更多技術細節，其中我們解釋了如何使用langchain、ragstack、Cassandra 和相關工具從基于 Web 的技術文檔構建知識圖。我們從文檔中出現的 HTML 鏈接構建知識圖，這可能是為圖 RAG 構建知識圖的最簡單和最有用的方法之一。
要處理 HTML 文檔并為圖 RAG 添加適當的元數據，我們可以使用以下輔助函數：
from markdownify import MarkdownConverter
from ragstack_langchain.graph_store.extractors import HtmlLinkEdgeExtractor
markdown_converter = MarkdownConverter(heading_style="ATX")
html_link_extractor = HtmlLinkEdgeExtractor()
def convert_html(html: Document) -> Document:
url = html.metadata["source"]
soup = BeautifulSoup(html.page_content, "html.parser")
content = select_content(soup, url)
# Use the URL as the content ID.
html.metadata[CONTENT_ID] = url
# Extract HTML links from the content.
html_link_extractor.extract_one(html, content)
# Convert the content to markdown and add to metadata
html.page_content = markdown_converter.convert_soup(content)
return html一旦文檔被處理并且添加了適當的元數據，它們就可以加載到像下面示例這樣的圖向量存儲中，該示例使用Astra DB作為底層數據存儲，以及CassandraGraphStore作為GraphVectorStore的實現，它既充當知識圖又充當向量存儲：
import cassio
from langchain_openai import OpenAIEmbeddings
from ragstack_langchain.graph_store import CassandraGraphStore
# Initialize AstraDB connection
cassio.init(auto=True)
# Create embeddings
embeddings = OpenAIEmbeddings()
# Create knowledge store
graph_store = CassandraGraphStore(embeddings)
... # load and process your documents, e.g. `convert_html` above
# Add documents to knowledge store
graph_store.add_documents(docs)
