譯者 | 李睿

審校 | 重樓

大型語言模型（LLM）已經證明是一種非常寶貴的思考工具。經過大量文本、代碼和其他媒體數據集的訓練，它們能夠創作出接近人類水平的文章、翻譯語言、生成圖像，還能以信息豐富的方式回答人們提出的問題，甚至可以編寫不同類型的創意內容。但是，盡管它們功能強大，即使是最先進的LLM也有一個基本的限制：知識的時效性。它們所“知道”的一切知識都是由所接受的訓練數據決定的，這使它們無法適應新的信息，也無法了解人們的具體需求和偏好。

為了克服這一限制，研究人員開發了檢索增強生成(RAG)。RAG賦予了LLM訪問實時更新的數據存儲的能力。這種對動態外部知識庫的訪問使它們能夠動態地檢索相關信息，并將其合并到他們的響應中。然而，由于這些模型往往依賴于關鍵字匹配，當面對需要跨多個信息源進行關聯的問題時，標準的RAG實現就會遇到挑戰——這是一種被稱為“多跳” （multi-hop）推理的難題。

受到大腦存儲和提取記憶機制的啟發，研究人員開發了HippoRAG這一新穎的RAG方法，這種方法在生成反應時能夠檢索并整合更具意義的來源。本文將深入剖析HippoRAG的工作原理，探究其在傳統RAG技術之上的優勢，并展望其在人工智能系統中激發全新推理和理解水平的潛力。

在RAG技術存在局限時：尋求更深層次的聯系

在傳統的RAG系統中有兩個關鍵組件：檢索器和生成器。檢索器負責在龐大的文本數據庫（知識庫）中搜尋，這些數據庫可能包括維基百科、企業內部文檔，甚至個人文件。其工作原理是將問題和文檔轉化為數字表示（即嵌入），并利用高效的算法迅速找出與問題嵌入最為相似的文檔。隨后，生成器（通常是一個強大的大型語言模型）將這些檢索到的文檔作為場景，生成一個全面且信息豐富的答案。

例如，如果詢問RAG系統“巴黎的主要旅游景點是什么?”，檢索器將在知識庫中搜索包含巴黎和旅游景點信息的文檔。它可能會從維基百科、旅游博客甚至旅游指南中找到文章。然后LLM將使用這些檢索到的文檔來生成響應，可能列出像埃菲爾鐵塔、盧浮宮博物館和凱旋門這樣的熱門景點。

盡管這款工具功能強大，但當面對需要將多個信息片段串聯起來以解答問題的情況時，傳統的RAG系統往往顯得力不從心——這正是所謂的“多跳”推理難題。假設某人向人工智能助理提問：“我下周去倫敦旅行時應該帶把傘嗎？”為了回答這個問題，助理需從他的日歷中檢索旅行日期，核實這些日期內倫敦的天氣狀況，并考慮他的個人行李偏好（他是習慣隨身攜帶雨傘，還是僅在天氣惡劣時才攜帶？）。然而，傳統的RAG系統往往僅依賴于基礎的關鍵字匹配，可能會找到包含“倫敦”和“雨傘”的文件，但不一定能理解這些文件與他的旅行或其個人行李偏好之間的時間關聯性。

類似地，像“谷歌現任首席執行官（CEO）的出生地是哪個國家的首都?”這樣的問題需要將他的出生地與該國的首都聯系起來——這種聯系可能在任何一份文檔中都不明確。傳統的RAG很難有效地建立這些連接。

HippoRAG：模仿大腦的記憶指數

HippoRAG是一個新的RAG框架，其設計理念來自于人們的大腦如何存儲和檢索記憶。人類的大腦不只是將信息存儲在孤立的單元中，它在不同概念之間建立了豐富的聯系網絡。這種將相關想法聯系起來的能力使得HippoRAG能夠進行復雜的邏輯推理，從而做出推斷，并回答需要將多個來源的信息綜合在一起的復雜問題。

通過模擬大腦的記憶索引機制，HippoRAG展現了其獨特的優勢，為信息檢索和推理領域帶來了新的可能性。

受HippoRAG啟發的海馬體索引理論為大腦中的這種工作方式提供了一個模型：

• 新皮質：作為大腦中負責“思考”的部分，負責處理感官信息和存儲復雜知識。這類似于HippoRAG中的LLM。?
• 海馬體：大腦深處的一個區域，就像記憶的“索引”。它本身并不存儲完整的記憶，但它在存儲在新皮層中的不同信息片段之間建立了聯系(關聯)。可以把它想象成一個概念之間聯系的心理地圖。這就是知識圖譜在HippoRAG中的作用。?

當體驗到新事物時，大腦皮層就會處理，海馬體會在相關概念之間建立聯系，形成記憶痕跡。當在今后回憶起那段經歷的一部分時，海馬體會激活相關的聯系，觸發從新皮質提取完整的記憶。

為LLM構建更好的記憶

HippoRAG模仿這種受大腦啟發的模型，為LLM提供了更復雜的記憶系統。以下探討HippoRAG是如何運作的：

1.建立海馬指數

HippoRAG使用LLM從知識庫中提取關鍵概念和關系，構建知識圖，其中節點表示概念，邊表示概念之間的關系。這個知識圖譜就像海馬體，儲存著想法之間的聯系。

以下是示例中知識圖譜的簡化表示：

• 節點：表示實體和概念：“倫敦”、“英國”、“天氣”、“不可預測”、“雨傘”、“保護”、“雨”、“旅行”、“下周”、“周一”、“周五”、“輕裝”、“我”等。?
• 邊：表示節點之間的關系：“倫敦”-[是首都]->“英國”，“倫敦”-[以]->“不可預測的天氣”而聞名，“雨傘”-[提供]->“保護”，“保護”-[從]->“雨”，“旅行”-[目的地]->“倫敦”，“旅行”-[時間]->“下周”，“下周”-[包括]->“星期一”，“下周”-[包括]->“星期五”，“我”-[偏好]->“輕裝”，等等。?

2.個性化PageRank的查詢時間推理

給定一個新問題，LLM識別關鍵實體，并將它們映射到知識圖中的節點。然后，HippoRAG使用一種稱為個性化PageRank (PPR)的算法來探索知識圖譜，在相關節點上傳播激活。這就像海馬體激活了相關的記憶痕跡。PPR允許HippoRAG從遠離原始實體的多“跳”中有效地收集信息，在一個步驟中捕獲多跳關系。在以下示例中：

• 實體識別：與之前一樣，LLM識別問題中的關鍵實體：“雨傘”、“旅行”和“倫敦”。?
• 知識圖譜上的PPR：從代表這些實體的節點開始，PPR探索知識圖譜，在相關節點之間傳播激活。它考慮邊緣的強度和方向來確定不同路徑的相關性。?

在例子中：PPR可能會高度激活通往“雨”、“變幻莫測的天氣”和“保護”等節點的路徑，因為它們與“倫敦”和“雨傘”有聯系。

3.單步檢索

然后檢索最高度激活的節點(以及知識庫中與它們相關的文本塊)。這為LLM提供了回答問題所需的信息，包括概念之間的關鍵聯系。

在示例中，這可能包括原始示例中的文本塊1、2和3。

4.使用LLM生成答案

LLM現在已經掌握了謎題的所有部分——原始問題、檢索到的知識（通過基于圖的連接豐富）和任何額外的實時信息。它可以利用這些更豐富的知識來提供更細致、更準確的答案。

在例子中：

• 組合輸入：LLM接收原始問題、檢索到的知識(現在已通過基于圖的連接得到豐富)以及倫敦在旅行日期的實時天氣預報。?
• 增強推理：LLM現在可以利用更豐富的知識來提供更細致、更準確的答案。它不僅知道倫敦的天氣變幻莫測，而且還知道雨傘可以防雨，而且知道行程安排在可能下雨的時間。?

從多跳到尋徑：人工智能記憶的未來

HippoRAG背后的研究人員證明，它在多跳推理任務上明顯優于標準的RAG方法。但這種方法的含義遠遠超出了簡單的問題回答。

由HippoRAG實現的“尋徑”檢索概念尤其令人興奮。想象一下，人工智能系統不僅可以檢索信息，還可以發現概念之間的新聯系，即使這些聯系沒有在數據中明確說明。這將改變科學發現、法律推理和個性化推薦等領域的游戲規則，在這些領域，建立新聯系的能力是必不可少的。

雖然HippoRAG面臨著擴展到大規模知識圖譜和管理概念-場景權衡等挑戰，但它代表了構建具有更類似人類記憶能力的LLM的重大飛躍。隨著人們繼續探索神經科學和人工智能的交叉點，正在接近創造能夠像人類大腦一樣學習、記憶和推理的深度和靈活性的人工智能系統。

原文標題：LLMs Get a Memory Boost with HippoRAG，作者：Indrajit Bhattacharya,Obaid Sarvana?

鏈接：https://dzone.com/articles/llms-get-a-memory-boost-with-hipporag