1、為什么需要 GraphRAG？ 

7月3日，微軟重磅開源了基于圖的 RAG -- GraphRAG。在 GitHub 上發布后，短短4天時間，該項目迅速獲得了 6000 Stars！足見這個項目的熱度！

Github 地址：https://github.com/microsoft/graphrag

強化主流大模型，比如：GPT-4o、Qwen-2、文心一言、GLM-4、Llama-3 的搜索、問答、摘要及推理等功能，RAG 已成為這些國際國內知名 AI 大模型不可或缺的核心技術。

過往的 RAG 實踐多沿襲簡約路線：文檔簡化為文本字符串，切割為零碎段落，繼而映射進向量空間，實現語義相似度的直觀展現。然而，這種直白策略在面臨大規模數據全局理解的挑戰時顯露短板——它偏重局部文本匹配，忽略了對整體數據生態的全面洞察。

微軟在此基礎上另辟蹊徑，引入“Graph”圖技術概念，圍繞文本內的實體要素（包括人物、地點、核心概念等）編織龐大知識圖譜網絡。這一創新不僅深化了大模型對文本內部復雜關聯與互動的理解力，還極大提升了其內容生成與信息檢索的智慧邊界，引領 RAG 邁向更廣闊的智能應用領域。

GraphRAG 方法可以歸結為：利用大語言模型從您的私有知識中提取知識圖譜；將此圖譜聚類成不同粒度級別的相關實體；對于 RAG 操作，遍歷此知識圖譜以得到實體之間的關系，從而為得到最終的答案提供更多全局的關系知識。

 2、GraphRAG 架構設計剖析 

Graph RAG 技術的本質，在于實施一個兩階段策略來建立圖譜驅動的文本索引體系：首步，從原始文獻中挖掘并構建實體的知識圖譜；緊接著，針對圖譜中高度關聯的實體集群，預先制作綜合性社區摘要內容。

Graph RAG 的第一步就是將源文檔分割成較小的文本塊，這些文本塊隨后被輸入到大模型中以提取關鍵信息。

在這個過程中，大模型不僅要識別文本中的實體，還要識別實體之間的關系，包括它們之間的相互作用和聯系，用來構建一個龐大的實體知識圖譜，其中包含了數據集中所有重要實體和它們之間的關系。

通俗來講，這一流程堪比烹飪前的食材準備，以處理西瓜為例：一個完整的大西瓜（原始數據）擺在面前時，我們首先要將其切分成可管理的小塊（數據片段），比如瓜瓣或是更小的瓜丁，并留意這些瓜塊之間的自然連接點，以便之后無論是混搭果盤還是精制果汁，都能得心應手，處理起來更加高效順暢。

隨后，GraphRAG 采納了先進的社區檢測算法，旨在圖譜中精準識別出模塊化社區。這些社區由緊密相連的節點構成，它們之間的相互作用相較于圖譜其余部分更為頻繁和顯著，從而自然地將龐大的圖譜切割成多個小型、更便于分析和管理的區塊，每一區塊均聚焦于數據集內的獨特主題或概念范疇。

依托于上述圖形索引的構建，GraphRAG 進一步深化其分析層次，通過生成社區摘要來概括每個社區內的所有實體及其相互關系。這些摘要作為對特定數據集區域的精煉概覽，極大地促進了用戶對復雜數據的高層次理解。

為提升信息質量和相關性，GraphRAG 引入了一個大模型評分機制，對所有生成的答案進行0至100分的量化評估。評分過低的答案將被自動剔除，而高分答案則被視為優質候選，依據其得分從高到低進行排序。隨后，這些精選的答案被逐步整合至新的上下文窗口中，直至達到預設的詞數上限，確保最終呈現的信息既豐富又精煉。

以用戶查詢“如何進行有效減肥？”為例，GraphRAG 能夠智能地利用與減肥主題緊密相關的社區摘要，快速生成多個初步答案片段。這些片段經過系統的匯總與精煉處理，最終融合成一個全面、針對性的回答，直接響應用戶的需求。具體的 workflow 如下圖所示：

 3、GraphRAG 相比傳統 RAG 的優點 

Graph RAG 顯著強化了全局檢索能力，尤擅應對大規模數據集，為大模型帶來關鍵助力：

1. 拓展上下文視野：克服傳統大模型上下文窗口局限，GraphRAG 利用圖索引分解文本為小型社區，顯著提升模型對長文本的理解與生成能力。?
2. 全局精準查詢：超越傳統 RAG 的局部檢索限制，GraphRAG 借助社區摘要技術，從全局數據中萃取信息，確保答案的全面與精準。???
3. 豐富摘要生成：并行生成并匯總社區摘要，GraphRAG 促進大模型跨社區、多角度信息整合，生成更高質、更多元的摘要內容。
4. 優化算力與資源：GraphRAG 模塊化處理大規模文本，降低算力需求，同時減少 token 使用，高效生成高質量摘要。
5. 強化檢索與生成協同：結合檢索與生成，GraphRAG 提升內容準確性與相關性。
6. 深化數據集結構理解：構建知識圖譜與社區，GraphRAG 洞悉文本內容及數據集結構。
7. 提升復雜問題處理能力：GraphRAG 檢索并摘要多社區信息，深化對復雜問題的理解，尤其擅長處理 PDF、Word 文檔。?

4、GraphRAG 效果如何？ 

為了驗證 GraphRAG 效能，以復雜、意見分歧、信息不全的 VIINA 數據集為試金石，該數據集因新近發生未入大模型訓練。微軟整合俄烏沖突千余篇英文報道，創建大模型檢索專用數據集。因數據量龐大，采用 RAG 技術處理。微軟團隊率先對傳統 RAG 與 GraphRAG 發起探索性查詢測試。

查詢語句：“Novorossiya 做了什么？”

傳統 RAG 沒能回答這一問題，因為從插入上下文窗口的源文件來看，沒有任何文本片段提及“Novorossiya”，從而導致了這一失敗。

相比之下，GraphRAG 能夠識別查詢中“Novorossiya”實體，助大模型構建圖譜，聯結原文生成帶出處的高質答案。如下圖，L大模型斷言 Novorossiya 目標某銀行，基于圖譜中兩實體關系，源自原文片段。、

為了更大范圍評估 GraphRAG 的性能，微軟在一個100萬 tokens、超復雜結構的數據集上，包含娛樂、播客、商業、體育、技術、醫療等內容，進行了綜合測試。

總之，結果表明，GraphRAG 全局檢索方法在全面性和多樣性上優于傳統 RAG，其中 GraphRAG 在播客與新聞數據集上表現卓越，兼具高度多樣性與全面性，堪稱目前最優秀的 RAG 方案。此外，Grap RAG 對 tokens 需求低，有效降低了開發成本。

本文轉載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/21QmpFRMuWcBTPb8VPAIOA??