LazyGrapgRAG：與GraphRAG完全不同的方法
LazyGraphRAG 是微軟最新推出的一種與 Graph RAG 截然不同的方法，該方法不需要事先匯總源數(shù)據(jù)，從而避免了前期索引成本，而前期索引成本對(duì)于某些用戶和用例來說可能是難以承受的。
LazyGraphRAG 的一個(gè)關(guān)鍵優(yōu)勢(shì)是其在成本和質(zhì)量方面的固有可擴(kuò)展性。
與標(biāo)準(zhǔn)向量 RAG、RAPTOR、GraphRAG 和 DRIFT 相比，LazyGraphRAG 在成本質(zhì)量范圍內(nèi)表現(xiàn)出色，如下所示：
- LazyGraphRAG 數(shù)據(jù)索引成本與向量 RAG 相同，僅為完整 GraphRAG 成本的 0.1%。
- 對(duì)于與向量 RAG 相當(dāng)?shù)牟樵兂杀荆琇azyGraphRAG 在本地查詢方面的表現(xiàn)優(yōu)于所有競(jìng)爭(zhēng)方法，包括長(zhǎng)上下文向量 RAG 和 GraphRAG DRIFT 搜索以及 GraphRAG 本地搜索。
- 相同的 LazyGraphRAG 配置也顯示出與 GraphRAG Global Search 相當(dāng)?shù)娜植樵兇鸢纲|(zhì)量，但查詢成本降低了 700 多倍。
- 對(duì)于 GraphRAG 全局搜索的查詢成本的 4%，LazyGraphRAG 在本地和全局查詢類型上的表現(xiàn)都明顯優(yōu)于所有競(jìng)爭(zhēng)方法，包括 C2 級(jí)別（大多數(shù)應(yīng)用程序推薦的社區(qū)層次結(jié)構(gòu)的第三級(jí)）的 GraphRAG 全局搜索。
LazyGraphRAG 即將在 GraphRAG 庫開源，它通過與標(biāo)準(zhǔn)向量 RAG 成本相當(dāng)?shù)妮p量級(jí)數(shù)據(jù)索引為本地和全局查詢提供統(tǒng)一的查詢界面。
LazyGraphRAG 旨在融合向量 RAG 和 GraphRAG 的優(yōu)勢(shì)，同時(shí)克服它們各自的局限性：
- 向量 RAG 是一種最佳優(yōu)先搜索形式，它使用與查詢的相似性來選擇最佳匹配的源文本塊。但是，它沒有意識(shí)到全局查詢要考慮的數(shù)據(jù)集的廣度。
- GraphRAG 全局搜索是一種廣度優(yōu)先搜索形式，它使用源文本實(shí)體的社區(qū)結(jié)構(gòu)來確保查詢的答案考慮到數(shù)據(jù)集的全部廣度。但是，它沒有意識(shí)到本地查詢要考慮的最佳社區(qū)。
LazyGraphRAG 以迭代深化的方式結(jié)合了最佳優(yōu)先和廣度優(yōu)先搜索動(dòng)態(tài)（表 1）。與完整 GraphRAG 的全局搜索機(jī)制相比，這種方法在某種程度上是“懶惰的”，可以推遲 LLM 的使用并顯著提高答案生成的效率。整體性能可以通過一個(gè)主要參數(shù)（相關(guān)性測(cè)試預(yù)算）進(jìn)行擴(kuò)展，該參數(shù)以一致的方式控制成本質(zhì)量權(quán)衡。
LazyGraphRAG 表明，單一、靈活的查詢機(jī)制有可能在本地全局查詢范圍內(nèi)大大優(yōu)于各種專門的查詢機(jī)制，而且無需 LLM 數(shù)據(jù)匯總的前期成本。其非常快速且?guī)缀趺赓M(fèi)的索引功能使 LazyGraphRAG 成為一次性查詢、探索性分析和流數(shù)據(jù)用例的理想選擇，同時(shí)它能夠隨著相關(guān)性測(cè)試預(yù)算的增加而平穩(wěn)地提高答案質(zhì)量，使其成為對(duì)一般 RAG 方法進(jìn)行基準(zhǔn)測(cè)試的寶貴工具。
這是否意味著所有支持圖形的 RAG 都應(yīng)該是惰性的？我們認(rèn)為答案是否定的，原因有三：
- 實(shí)體、關(guān)系和社區(qū)摘要的 GraphRAG 數(shù)據(jù)索引具有超越問答的實(shí)用價(jià)值（例如，閱讀和共享報(bào)告）。
- GraphRAG 數(shù)據(jù)索引包含實(shí)體、關(guān)系和社區(qū)摘要，結(jié)合類似 LazyGraphRAG 的搜索機(jī)制，可能會(huì)取得比單獨(dú)使用 LazyGraphRAG 更好的效果。
- 一種旨在支持類似 LazyGraphRAG 的搜索機(jī)制（例如，通過先發(fā)制人的聲明和主題提取）的新型 GraphRAG 數(shù)據(jù)索引可能會(huì)取得最佳效果。
未來將會(huì)在 GraphRAG 倉庫開源：https://github.com/microsoft/graphrag
本文轉(zhuǎn)載自?? PyTorch研習(xí)社??，作者： 南七無名式
