檢索增強生成（RAG）雖好，但一直面臨著資源消耗大、部署復雜等技術壁壘。

近日，香港大學黃超教授團隊提出MiniRAG，成功將RAG技術的應用門檻降至1.5B參數規模，實現了算力需求的大幅降低。這一突破性成果不僅為邊緣計算設備注入新活力，更開啟了基于小模型輕量級RAG的探索。

研究團隊開發的這套MiniRAG系統采用小模型架構，實現了輕量級的檢索增強生成功能。通過本地部署的方式，既降低了資源消耗，又能妥善保護用戶隱私。

為驗證系統在現實環境下的實用性，團隊專門設計了LiHua-World評測數據集，這套數據集包含了個人通訊、信息檢索等日常應用場景的模擬數據，為小模型RAG性能評估提供了系統化的測試標準。

模型的性能評測評估了不同框架在遷移至小模型時的適應能力差異：GraphRAG完全無法保持基本功能，LightRAG的表現銳減近半，而MiniRAG即便在輕量化后依然保持了較高水準，最優情況下性能僅下降不到1%，最差情況也僅降低21%左右。值得關注的是，MiniRAG在顯著節省存儲空間的同時（僅需原來25%），仍能維持如此穩定的輸出質量。

MiniRAG架構設計

針對傳統RAG系統過度依賴大型語言模型的問題，研究團隊提出了新的MiniRAG框架。這一設計摒棄了依賴大模型處理復雜語義理解和多步推理的傳統路線，轉而構建了一套適配小型語言模型特點的精簡架構。

通過深入研究，團隊發現小型語言模型雖然在復雜認知任務上存在局限，但具有三個可供充分利用的優勢特性：

• 在模式識別和局部文本處理等基礎任務上表現突出
• 借助結構化信息的引入可顯著提升其語義理解能力
• 通過將復雜任務分解為簡單子任務的策略，能夠保證系統穩定可靠運行

基于這些發現，研究團隊開發了兩項核心技術創新：

• 異構圖索引：優化信息組織結構，提升檢索精確度
• 輕量級知識檢索：確保高效準確的信息獲取

基于小模型的語義檢索機制

為突破端側智能檢索的瓶頸，MiniRAG團隊構建了一套全新的語義感知框架。這套系統將離散的文本信息與結構化的實體知識融為一體，構建成一張動態感知的智能網絡，實現了檢索效率的質的飛躍。

• 文本語義分析：識別并存儲文檔中的核心要素，包括時間、地點、事件描述和領域概念
• 文本Chunk融合：維護原始段落的完整性，保留必要的上下文信息

這種設計讓系統在檢索時可以充分利用結構化特征和原文信息。通過并行匹配策略，既提升了檢索的準確度，又有效避免了小模型在語義理解上的局限性，使端側RAG應用更加實用可靠。

輕量級知識檢索架構

端側RAG應用面臨著獨特的挑戰：計算資源受限且需要保護數據隱私，這使得傳統的大模型方案難以落地。基于此，MiniRAG提出了一套輕量化的圖式檢索方案，通過優化的語義分析和簡化的嵌入技術，在保證效果的同時大幅降低了系統開銷。
檢索框架主要包含兩個關鍵設計：

• 查詢語義映射： 系統采用精簡的語義分析流程，專注于提取查詢中的關鍵實體和邏輯關系。這種輕量級的處理方式充分發揮了小模型在特定任務上的優勢，確保檢索過程快速高效。
• 拓撲增強檢索：檢索過程分為兩個環節，先基于語義特征快速定位核心信息點，再通過異質圖結構化的關聯分析擴展相關內容，實現準確和全面的信息獲取。

這種設計既保證了檢索質量，又很好地適應了端側環境的資源約束。相比傳統方案，具有更強的實用性和可擴展性。

模擬真實端側場景的評測數據集: “假如你是LiHua…”

為了更準確地評估端側RAG系統的實際表現，團隊開發了一個貼近現實的評測數據集。這個名為LiHua-World的數據集模擬了一位普通用戶”李華”在移動設備上產生的各類信息記錄，包括社交對話、運動日志、休閑娛樂和日程安排等豐富內容。

數據集涵蓋了從單一信息查詢到多層次關聯分析的各類任務。通過還原移動設備的真實使用場景，LiHua-World不僅體現了端側應用的實際需求，更建立起一個完整的評測體系，為端側RAG技術的發展和優化提供了可靠的實驗基準。

實驗評估

團隊通過實驗設計對MiniRAG系統進行了性能評測，重點關注其在端側實際應用場景中的表現。評估工作主要從三個層面展開：

• 整體性能評估 - 團隊選取了當前主流的移動端RAG解決方案作為對照組，從檢索質量、運行效率和資源占用等維度進行了量化對比，全面衡量系統的綜合表現
• 模塊效能分析：深入探索MiniRAG核心組件的性能貢獻，包括語義感知異構圖索引機制的檢索效果、輕量級檢索策略的計算開銷，以及各模塊間的協同效應
• 實際場景案例研究：實驗中團隊考察系統處理復雜信息檢索和多步推理等高難度任務的能力。通過實際案例的詳細分析，直觀展示了MiniRAG在真實環境中的應用價值和優勢

性能評估結果

實驗重點考察了各類RAG系統在適配小型語言模型(SLMs)時的表現差異。測試結果顯示，傳統方案在這一場景下普遍面臨嚴峻挑戰：以LightRAG為例，系統整體效果大幅下滑，性能降幅接近一半。更令人擔憂的是，GraphRAG在小模型環境下完全喪失了基本功能。這些現象反映出現有RAG架構過度依賴大模型的計算能力。

相較之下，MiniRAG通過優化的圖索引設計和創新的檢索機制，有效地解決了這一技術瓶頸。實驗數據令人振奮：在遷移至小型語言模型的過程中，系統性能最大降幅僅為兩成左右，個別任務類型的性能甚至基本保持不變（降幅不足1%）。這充分證明了MiniRAG在輕量化場景下的獨特優勢和較強適應能力。

存儲效率評測

經過詳細的性能測試，MiniRAG在資源優化方面展現出顯著優勢。對比使用gpt-4-mini的LightRAG基準系統，團隊的方案僅占用四分之一的存儲空間就達到了相近的性能指標。這種顯著的存儲壓縮（降低約75%）并未影響系統的檢索質量，說明了團隊在架構設計上的價值。

消融實驗分析

團隊制定了一套系統化的評測方案，旨在深入分析各核心模塊對整體性能的具體貢獻。評測分為兩個主要部分：

首先是索引機制測試，我們將系統中的異構圖索引替換為基于語義描述的傳統方案（簡記為-I實驗），這類方案與現有主流系統采用相似的處理思路，主要通過模型的語義理解來構建實體和關系的描述表示。

實驗結果表明：

實際案例分析

以下通過一個富有挑戰性的餐廳識別場景，展示MiniRAG如何在實際應用中充分發揮其技術優勢，尤其在處理多維度信息檢索方面的出色表現。

挑戰：復雜查詢解析的困境

研究團隊選取了一個具有挑戰性的測試案例，查詢內容為：Wolfgang和Li Hua為慶祝Wolfgang升職而共進晚餐的那家意大利餐廳叫什么名字？這一查詢涉及多重約束條件，要求系統能從在線聊天數據中準確識別特定意大利餐廳及其相關上下文。盡管LightRAG采用了phi-3.5-mini-instruct模型，但受限于小型語言模型的固有局限性，特別是在提取high-level信息和處理圖索引噪聲方面的不足，導致其檢索效果不夠理想。

MiniRAG的解決方案

MiniRAG通過其獨特的查詢引導推理路徑發現機制成功應對了上述挑戰。系統利用異構圖索引結構，首先預測答案類型（如”社交互動”或”地點”），然后通過策略性分解查詢要素（專注于”意大利場所”和”餐廳”語境），結合目標實體匹配，實現了精確且具有上下文關聯的知識檢索。這種結構化推理方法使MiniRAG能夠精確導航知識空間，最終成功定位目標餐廳——Venedia Grancaffe。

結論

MiniRAG是一款輕量級的檢索增強生成系統，成功解決了小型語言模型(SLMs)在傳統RAG框架中的應用限制。該系統采用創新的異構圖索引架構和輕量級啟發式檢索機制，有效整合了文本與圖式方法的優勢，大幅降低了對模型能力的依賴要求。實驗結果表明，基于SLMs的MiniRAG性能可與大語言模型方案媲美。

為促進邊緣設備RAG技術的發展，研究團隊同時發布了首個專門的評估基準數據集，重點覆蓋個人通信和多約束查詢等實際應用場景。這一研究不僅代表著端側RAG系統的重要突破，也為注重隱私保護和資源效率的邊緣AI應用開創了新的可能。

項目鏈接: https://github.com/HKUDS/MiniRAG
論文鏈接: https://arxiv.org/abs/2501.06713
實驗室主頁: https://github.com/HKUDS