人工智能的新突破：StructRAG框架如何讓大型語言模型更聰明？ 原創
01、概述
在人工智能的浪潮中，大型語言模型（LLMs）正變得越來越聰明。它們不僅能處理復雜的語言任務，還能通過檢索增強生成（RAG）方法，從外部信息源獲取數據，以提高其準確性和推理能力。但面對知識密集型任務，如何整合分散在多個文檔中的信息，仍是一個難題。現在，StructRAG框架的出現，為這一挑戰提供了新的解決方案。
02、StructRAG
StructRAG框架是由中國科學院和阿里巴巴集團的研究人員共同提出的。它借鑒了人類處理復雜問題時將信息結構化的認知理論，通過混合信息結構化機制，根據任務需求以最合適的格式構建和利用結構化知識，從而提升LLMs在知識密集型推理任務上的性能。
StructRAG框架的三大核心模塊
StructRAG框架由三個主要模塊組成，它們協同工作，以提高RAG的性能。
1. 混合結構路由器：確定最佳結構類型
混合結構路由器是StructRAG的核心，它負責確定給定任務最合適的結構類型。路由器接受問題和文檔核心內容作為輸入，輸出最佳結構類型。它考慮了五種結構類型：表格、圖形、算法、目錄和塊，每種都適用于不同類型的知識密集型任務。
為了訓練路由器，研究人員提出了一種基于決策變換器與偏好優化（DPO）算法的新方法。這種方法遵循強化學習原則，不需要額外的獎勵模型。路由器的訓練數據通過合成-模擬-判斷管道生成，為各種任務和結構類型創建高質量的合成偏好對。
2. 零散知識結構化器：構建結構化知識
確定了最佳結構類型后，零散知識結構化器開始工作。它負責從原始文檔中提取相關信息，并將其重構為所選格式的結構化知識。結構化器利用LLMs的理解和生成能力，執行這一復雜任務。
結構化器接受問題、選定的結構類型和每個原始文檔作為輸入，提取結構化知識，并生成描述。輸出的結構化知識被收集和組合，形成給定任務的總體結構化知識。
3. 結構化知識利用器：推理與答案生成
StructRAG框架的最后一個模塊是結構化知識利用器，它基于構建的結構化知識進行推理以回答問題。該模塊旨在處理可能阻礙直接識別和利用相關信息的復雜、組合性問題。
利用器采用基于LLM的方法來促進問題分解、精確知識提取和最終答案推斷。它首先將原始問題分解為幾個更簡單的子問題，然后從結構化知識中提取每個子問題的精確知識。最后，利用器整合所有子問題及其相應的精確知識，生成最終答案。
訓練混合結構路由器：關鍵步驟
混合結構路由器的性能對StructRAG框架的整體有效性至關重要。為了訓練路由器，研究人員提出了一種新方法，結合了合成-模擬-判斷管道來生成訓練數據和DPO算法來訓練偏好。
合成-模擬-判斷管道由三個步驟組成：
- 任務合成：LLMs通過上下文學習合成新任務，每個合成任務包括一個問題和文檔的核心內容。
- 解決方案模擬：LLMs模擬使用不同類型結構化知識解決任務的過程，為每個任務生成不同的模擬解決方案。
- 偏好判斷：基于LLM的裁判比較每個任務的模擬解決方案，并生成關于結構類型的偏好對。
生成的偏好對通過DPO算法訓練路由器，使其能夠學習不同結構類型之間的偏好，增強其選擇最合適結構類型的能力。
03、實驗結果
研究人員在Loong基準上對StructRAG進行了評估，包括四個任務（Spotlight定位、比較、聚類和推理鏈）和四種文檔長度設置。結果表明，StructRAG在大多數任務和文檔長度設置中都優于基線，在總體指標上實現了最先進的性能。
隨著任務復雜性的增加，StructRAG的性能提升變得更加明顯。在文檔長度增加、有用信息更分散的復雜場景中，StructRAG比基線有顯著改進，證實了其在構建和利用結構化知識方面的有效性。
消融研究也驗證了StructRAG框架中每個模塊的貢獻。所有三個模塊（混合結構路由器、零散知識結構化器和結構化知識利用器）在整體性能中都發揮了關鍵作用。移除這些模塊中的任何一個都會導致明顯的性能下降，其中混合結構路由器的影響最為顯著。
此外，研究人員還比較了StructRAG與固定結構類型（例如，僅使用表格、圖形、塊、目錄或算法）的性能，以證明混合信息結構化的重要性。結果證實，使用單一固定結構類型對于多樣化的任務是不夠的，根據任務需求選擇最佳結構類型的能力對于實現強大的性能至關重要。
04、結論
StructRAG通過引入混合信息結構化機制，為提升LLMs在知識密集型推理任務上的性能提供了一個有希望的方法。它不僅模仿了類似人類的思考過程，還根據任務的具體需求，以最合適的格式構建和利用結構化知識。
這項研究不僅展示了StructRAG在處理復雜任務時的潛力，還為未來LLMs的發展提供了新的方向。隨著技術的不斷進步，我們可以期待StructRAG將在更多領域展現其強大的能力，為人工智能的發展帶來更多可能。
參考：
?
本文轉載自公眾號Halo咯咯 作者：基咯咯
