在目前AI市場上，RAG 技術(shù)已經(jīng)成為大語言模型應(yīng)用的重要組成部分，而GraphRAG作為RAG的進(jìn)化版本，通過引入圖結(jié)構(gòu)來處理復(fù)雜的知識關(guān)系，正在受到越來越多的關(guān)注。但面對市面上眾多的GraphRAG變種，我們該如何選擇最適合自己應(yīng)用場景的方案呢？

最近，一項(xiàng)名為GraphRAG-Bench的評估研究為我們提供了答案。它系統(tǒng)性地評估了總共九種主流GraphRAG方法，包括RAPTOR、LightRAG、GraphRAG、G-Retriever、HippoRAG、GFM-RAG、DALK、KGP和ToG，為我們選擇合適的GraphRAG方案提供了參考。

本文基于評估研究^[1]，為AI從業(yè)者提供GraphRAG技術(shù)選型參考。更多技術(shù)細(xì)節(jié)可參考原始論文^[2]和開源代碼庫。

GraphRAG的核心優(yōu)勢

在深入分析各種GraphRAG方法之前，我們首先需要明確GraphRAG的核心價(jià)值所在。GraphRAG在需要多跳推理和上下文綜合的任務(wù)中表現(xiàn)優(yōu)異，但在簡單事實(shí)檢索任務(wù)中不如傳統(tǒng)RAG。所以當(dāng)我們面臨需要整合多個(gè)信息源、進(jìn)行復(fù)雜邏輯推理的任務(wù)時(shí)，GraphRAG展現(xiàn)出了傳統(tǒng)RAG無法比擬的優(yōu)勢。

評估體系

數(shù)據(jù)來源

研究團(tuán)隊(duì)從超過100本出版物中精心挑選了20本最具代表性的計(jì)算機(jī)科學(xué)領(lǐng)域教科書作為評估數(shù)據(jù)源。這種選擇既保證了數(shù)據(jù)的權(quán)威性，又確保了知識的系統(tǒng)性和完整性。

數(shù)據(jù)處理過程采用了先進(jìn)的文檔智能技術(shù)，包括：

• 預(yù)處理階段：PDF分類和元數(shù)據(jù)提取
• 內(nèi)容解析階段：使用LayoutLMv3進(jìn)行布局分析、公式識別和OCR
• 后處理階段：使用MinerU重新排序和合并頁面區(qū)域
• 層次結(jié)構(gòu)構(gòu)建：將提取的內(nèi)容組織成層次化的教科書樹結(jié)構(gòu)

問題設(shè)計(jì)

評估設(shè)計(jì)了五種不同類型的問題，每種都針對GraphRAG的特定能力：

1. 填空題（FB）測試模型在特定上下文中精確定位和生成語義相關(guān)術(shù)語的能力，重點(diǎn)考察局部語義依賴的處理。

2. 多選題（MC）通過設(shè)置語言上合理的干擾項(xiàng)，測試模型的區(qū)分性推理能力，要求整合實(shí)體信息和邊關(guān)系來排除錯(cuò)誤選項(xiàng)。

3. 多選答題（MS）最具挑戰(zhàn)性的題型，要求從多個(gè)選項(xiàng)中選擇2-4個(gè)正確答案，測試模型處理復(fù)雜查詢語義和多跳圖路徑推理的能力。

4. 判斷題（TF）驗(yàn)證模型的事實(shí)準(zhǔn)確性評估能力，要求進(jìn)行邏輯推理來判斷陳述的正確性。

5. 開放式問題（OE）最全面的測試，要求生成詳細(xì)且全面的答案，考察模型的整體知識綜合能力。

評估指標(biāo)

GraphRAG-Bench建立了科學(xué)的四維評估體系：

1. 圖構(gòu)建

• 效率：構(gòu)建速度、資源消耗
• 成本：計(jì)算和存儲開銷
• 組織性：圖結(jié)構(gòu)質(zhì)量、知識覆蓋度

2. 知識檢索

• 索引時(shí)間：建立和更新索引的效率
• 檢索時(shí)間：查詢響應(yīng)速度

3. 生成

• 新Accuracy指標(biāo)：結(jié)合語義對齊和正確性
• 突破傳統(tǒng)字面匹配局限

4. 推理

• LLM自動評分：評估推理邏輯一致性
• 多維度評估推理質(zhì)量

結(jié)論

評估結(jié)果顯示，GraphRAG在大多數(shù)任務(wù)中都顯著提升了大語言模型的推理能力。在開放性問題上，GraphRAG的平均準(zhǔn)確率達(dá)到52.42%，超越了基線模型GPT-4o-mini的52.23%。

多跳推理場景

在最能體現(xiàn)GraphRAG優(yōu)勢的多跳推理任務(wù)中，RAPTOR和HippoRAG表現(xiàn)最為突出：

• RAPTOR在準(zhǔn)確率上達(dá)到73.58%
• HippoRAG在推理分?jǐn)?shù)上獲得45.53%的成績

特定領(lǐng)域分析

數(shù)學(xué)領(lǐng)域的挑戰(zhàn)

有趣的是，在數(shù)學(xué)領(lǐng)域，GraphRAG方法的表現(xiàn)有所下降。這主要因?yàn)椋?/p>

• 數(shù)學(xué)問題需要嚴(yán)格的符號操作和精確的推理鏈
• GraphRAG檢索到的信息往往與問題要求不完全匹配
• 容易在信息提取和轉(zhuǎn)換中產(chǎn)生歧義或關(guān)鍵步驟丟失

倫理領(lǐng)域的局限

在倫理領(lǐng)域，GraphRAG和LLM的表現(xiàn)都較為一般，原因在于：

• 倫理問題涉及主觀價(jià)值判斷
• 通過統(tǒng)計(jì)學(xué)習(xí)捕獲的符號表示難以準(zhǔn)確建模模糊的倫理概念

總結(jié)

本文全面評估了9種不同的GraphRAG框架，基于這次全面的評估，我們可以總結(jié)出以下選擇建議：

• 多跳推理任務(wù)：優(yōu)選RAPTOR或HippoRAG
• 簡單事實(shí)檢索：考慮傳統(tǒng)RAG可能更合適
• 開放性問答：GraphRAG整體表現(xiàn)優(yōu)異

在實(shí)際應(yīng)用中，我們往往需要根據(jù)具體的業(yè)務(wù)場景、數(shù)據(jù)特點(diǎn)和性能要求來選擇最適合的GraphRAG方案。記住，沒有萬能的解決方案，只有最適合的選擇。

參考資料

[1] 評估研究: ??https://github.com/jeremycp3/GraphRAG-BenchGraphRAG-Bench??

[2] 原始論文: ???https://arxiv.org/pdf/2506.02404??

本文轉(zhuǎn)載自???AI 博物院??? 作者：longyunfeigu