一文讀懂GraphRAG大模型知識圖譜 原創 精華
大模型知識圖譜是指將大型語言模型（LLM）與知識圖譜技術相結合的一種技術手段，旨在利用知識圖譜的結構化知識來增強大模型在自然語言處理任務中的表現。知識圖譜通過將信息表示為實體（節點）和關系（邊）的網絡，模仿了人類結構知識的組成方式，不僅能捕獲原始信息，還能捕獲跨越多個文檔的高階關系，并具備強大的推理能力。
GraphRAG是一種利用知識圖譜增強檢索增強生成的技術。它通過以下幾個步驟來提升大模型的性能：
- 創建領域圖譜和詞匯圖譜：領域圖譜用于表示與特定應用領域相關的世界模型，而詞匯圖譜則用于表示文本的結構和語義關系。
- 利用LLM從非結構化數據中提取實體和關系：GraphRAG利用LLM的自然語言理解能力，從非結構化數據中自動提取實體、關系以及它們的屬性，并將其用于構建知識圖譜。
- 將知識圖譜與向量索引結合，進行更精準的語義搜索：GraphRAG將知識圖譜中的結構化信息與向量索引中的語義信息相結合，可以更精準地理解用戶查詢背后的意圖，并檢索到更相關的文本片段。
- 利用圖遍歷和推理能力，提供更完整、上下文相關的答案：GraphRAG可以根據知識圖譜中的關系路徑進行圖遍歷和推理，從而獲得更完整、上下文相關的答案，而不僅僅是簡單地拼湊文本片段。
很多技術廠商都曾認為，大語言模型的到來會給“知識圖譜”技術帶來“替代性”的威脅，畢竟二者都是服務于知識，服務于文本。當和一些做AI方面技術公司洽談項目時，對方一聽到我們還在用“知識圖譜”這樣的技術，竟無意間表現出一絲輕蔑。認為AIGC時代，大模型可以做任何事，不再需要任何“過時”的AI技術了。
這種反應并不奇怪，因為大模型在出現以來，一直被宣傳得很“熱鬧”。人們在熱情的驅動下，總是容易高估新技術的能力。
有時候，客戶在不完全了解的情況下，也會如此。有了一些新需求，動不動就直接給建議，“這東西大模型應該可以做，一點也不難，馬上部署一套吧”。
其實，從本質上來看，大模型和其他任何AI模型沒有任何值得區別對待的，所有的AI技術模型都是“平等”的關系。不同技術有不同的技術特點，適用于不同的業務場景，“數字化轉型”也不會厚此薄彼。知識圖譜技術和大模型技術雖然都面向知識服務，但是定位完全不同。
知識圖譜是用符號表示知識，內容嚴謹、結構化強，能夠對復雜的數據關聯進行記錄，適合于推理類任務。
大模型是用向量表示知識，語義信息豐富，支持高效檢索和各類數據格式的輸入和生成，適合交互類任務。
大模型技術能夠更好地理解用戶需求，幫助用戶完成數據分析結論的總結生成，但是這種“端到端”的技術策略，并不符合“透明化”的數據服務運營理念。僅依靠大模型本身獲得業務結論，對于用戶來說風險太大了。“里面是個黑盒，如果答案不是我想要的，我就不用了”。這也是大模型相關的技術產品為什么留存率低的問題。
用戶對大模型的評價過于隨機，換個場景，換個提問方式，效果可能立刻就會大打折扣。模型即服務，這是所有從事大模型技術創新者都希望實現的理念。希望交付的模型本身就可以直接拿來應對各式各樣的問題。
這種“大一統”的技術愿景，仍然任重道遠。每個行業，每個業務條線的底層運行邏輯和專業性要求都不一樣。
我們需要為不同的業務需求各自搭建知識框架以及對應的知識庫，如果是知識圖譜這種用“明文”表示的結構，則更加利于管理和維護，讓更多業務人員參與到知識管理與加工的數字化的進程中。知識圖譜可以更好地對業務對象和業務過程進行表示，整個業務推理的過程是“透明化”、“可控的”。
如果AI結果非預期，也可以通過知識圖譜的記錄以及查詢策略的修改，來有針對性地改進，這符合一個面向數據治理的完整PDCA閉環邏輯。
當前主流的AI產業落地思想是：大模型與知識圖譜以及和其他傳統AI技術框架的關系，應該是柔性協同的關系，而非完全替代的關系。
大模型負責從用戶側解析需求，對需求進行分發和路由，在具體的AI處理節點上，還是移交給特定的Agent來處理：比如針對圖數據庫的查詢和推理，甚至基于傳統的回歸模型或決策樹的預測。
這樣做一方面充分利用了企業現有的知識和技術資源，同時，也降低了大模型技術的構建和應用門檻（須認識到，大模型本質是個半成品，無法直接解決業務問題）。
同時，大模型也負責把來自各Agent的數據結論進行重新編排和總結輸出。“分而治之”的思想永遠是不過時的，一個復雜的任務得以分解成多個AI單元進行操作，而大模型只需要完成它自身的技術使命。
微軟提出的GraphRAG項目備受關注。該項目的主要目的是通過改進信息檢索和整理的方式，提升企業知識庫的實用性和響應速度。
GraphRAG的核心理念在于提前整理和構建知識圖譜，并將信息關聯起來，以便于快速回答具體或宏觀的問題。 傳統上，RAG（Retrieval-Augmented Answer Generation）方法在處理具體問題時表現良好，能夠直接在知識庫中檢索出包含答案的段落，并進行融合生成回答。然而，對于宏觀問題，如團隊成就調查，RAG的效率和準確性則較差。這些問題要求獲取散落在不同文檔中的信息，并整合為連貫的答案。
GraphRAG 的工作原理是從索引文檔中創建一個知識圖譜，這些文檔也被稱為非結構化數據，例如網頁。因此，當 GraphRAG 創建知識圖譜時，它實際上是在創建一個“結構化”的表示，表示各種“實體”（如人、地點、概念和事物）之間的關系，使得機器就更容易理解這些關系。
GraphRAG 方法使用 LLM 在兩個階段構建基于圖譜的文本索引：首先從源文檔中推導出實體知識圖譜，基于實體群體間的相關程度，創建稱之為“社區”的一般主題（高層次）和更細化的主題（低層次）；然后，LLM 會對社區中的每一個主題進行總結，形成一個“數據的分層摘要”。回答問題時，則使用每個社區摘要（Community summary）生成部分回應，之后將所有部分回應再次總結為最終的用戶回應。這樣，聊天機器人就能夠更多地基于知識（即社區摘要）來回答問題，而不是依賴嵌入。
- 提取知識圖譜：首先從原始文本創建“知識圖譜”。知識圖譜就像一個相互連接的內容實體網絡，其中每個實體（或“節點”）都以有意義的方式與其他實體相連接。
- 建立社區層次結構：接下來，它將這些相互關聯的內容實體組織成“社區”，將這些社區視為相關概念的集群。
- 生成摘要：對于每個社區，GraphRAG 都會生成摘要來概括要點。這有助于理解關鍵內容，而不會迷失在細節中。
- 利用圖譜結構：當您需要執行涉及檢索和生成信息的任務時，GraphRAG 會使用這種組織良好的圖譜結構。
與 RAG 系統類似，整個 GraphRAG 管道可以分為兩個核心功能組件：索引和查詢。索引過程使用 LLM 來提取節點（如實體）、邊（如關系）和協變量（如聲明）。然后，它使用社區檢測技術對整個知識圖譜進行分區，并使用 LLM 進一步形成摘要。對于特定查詢，它可以匯總所有相關的社區摘要以生成全局答案。
GraphRAG的主要優勢在于其能夠提供更準確、上下文相關且全面的答案，尤其在處理復雜信息和大型數據集上的問答和主題發現能力方面表現突出。與傳統的僅基于向量的RAG方法相比，GraphRAG能夠顯著提高AI在這些領域的性能。此外，GraphRAG在連接分散信息、增強上下文理解和減少錯誤信息（幻覺）方面也展現出了其獨特的優勢。通過這種方式，GraphRAG不僅提升了大模型的可解釋性，還增強了其在特定領域的應用能力。
GraphRAG通過構建知識圖譜，將企業知識庫中的相關信息進行分類和關聯，形成層次結構。這種結構使得回答問題時，可以依據信息的相關性和層次性快速定位答案。同時，GraphRAG還引入了社區挖掘算法，進一步優化信息關聯和聚合的過程。盡管GraphRAG具有顯著的潛力，但其實際應用仍面臨挑戰。
首先是知識圖譜的構建，這一過程需要大量的人工干預以去除噪聲和進行校正。其次是計算資源的消耗，特別是在處理大型知識圖譜時，計算復雜度較高。最后，新數據的加入需要頻繁更新知識圖譜，這可能要求從零開始構建整個圖譜，帶來額外的計算負擔。
綜上所述，GraphRAG提供了一種將傳統RAG與現代知識圖譜相結合的新路徑，有望大幅提升企業知識庫的實用性和響應效率。盡管面臨一些技術挑戰，但該項目的潛力不容忽視。
本文轉載自公眾號數字化助推器 作者：天涯咫尺TGH
原文鏈接：??https://mp.weixin.qq.com/s/FxI8IhBa9RJNNhRuTuTXLg??
