RAG 分塊新突破！LGMGC 框架讓抽取式問答效率翻倍?
在檢索增強生成（RAG）技術席卷開放域問答（ODQA）領域的當下，多數研究者的目光都聚焦在檢索算法優化與生成模型升級上，卻忽略了一個關鍵環節 —— 文檔分塊。看似簡單的分塊過程，實則是決定 RAG 性能的 “隱形基石”：若分塊缺乏上下文，檢索到的信息碎片化；若分塊包含過多無關內容，生成器又會被冗余信息干擾。今天要為大家介紹的 Logits-Guided Multi-Granular Chunker（LGMGC）框架，正是針對這一痛點提出的創新解決方案，讓文檔分塊既 “懂語義” 又 “多粒度”，大幅提升抽取式問答效果。
01、為什么 RAG 分塊需要 “重新被重視”？
在聊 LGMGC 之前，我們先搞清楚：為什么分塊環節值得投入精力研究？
RAG 的 “短板” 藏在分塊里
RAG 模型的工作流程可拆解為 “分塊 - 檢索 - 合成” 三步。前兩步中，檢索器負責從海量文檔中找相關信息，合成器（LLM）負責基于檢索結果生成答案。但如果分塊環節出了問題，后續環節再優秀也難以發揮作用：
- 若分塊過小（如單句分塊），會丟失句子間的邏輯關聯，比如描述 “某實驗步驟” 的文本被拆分成多個孤立句子，檢索器無法捕捉完整流程；
- 若分塊過大（如整段分塊），會混入大量與查詢無關的內容，比如在 “AI 醫療診斷” 查詢中，檢索到的分塊包含大量 AI 基礎理論，反而干擾答案提取。
現有分塊方法的 “兩難困境”
目前主流的分塊方法，始終面臨 “語義連貫性” 與 “效率成本” 的兩難：
- 傳統分塊（遞歸分塊、語義分塊）：遞歸分塊按固定長度切割文本，完全忽略語義；語義分塊雖能通過句子嵌入距離識別分隔點，但難以確定 “最優分塊粒度”，比如對學術論文和小說，最優分塊長度差異極大，傳統方法無法自適應。
- LLM 直接分塊：近年來有研究用 GPT-4、Gemini-1.5 等大模型直接劃分文本，雖能保證語義完整，但成本極高 —— 企業處理百萬級文檔時，頻繁調用 LLM API 的費用難以承受；同時，將敏感文檔上傳至第三方 API，還會引發數據安全風險。
正是在這樣的背景下，LGMGC 框架應運而生，它既借助 LLM 的語義理解能力，又規避了高成本與安全風險，還能實現多粒度分塊，完美解決了現有方法的痛點。
02、LGMGC 框架：兩大模塊實現 “語義 + 多粒度” 分塊
LGMGC 的核心思路是 “先找完整語義塊，再拆多粒度子塊”，整個框架由Logits-Guided Chunker（基于 Logits 的分塊器） 和Multi-Granular Chunker（多粒度分塊器） 兩大模塊組成，二者協同工作，兼顧語義完整性與檢索靈活性。
模塊 1：Logits-Guided Chunker
該模塊的核心是 “利用預訓練 LLM 的 Logits 信息，識別文本中的完整語義單元”。簡單來說，LLM 能預測每個 token 的后續概率分布，而句子結束標記（[EOS]）的概率，恰好能反映當前句子是否構成 “完整語義”。
具體實現分為 4 步，邏輯清晰且易于部署：
- 預處理：固定長度初分：先將輸入文檔按固定長度 θ（如 200/300/500 個單詞）切割成初始塊，避免文本過長導致 LLM 處理壓力；
- 算概率：聚焦 [EOS] 標記：給每個初始塊加一個提示（如 “請判斷以下句子是否完整，若完整則輸出 [EOS]”），然后讓 LLM 計算每個句子末尾 [EOS] 標記的條件概率 p [EOS]—— 概率越高，說明該句子越完整，越適合作為語義邊界；
- 定分割：選最高概率點：在初始塊中，選擇 p [EOS] 最高的位置作為分割點，分割點之前的文本即為 “語義完整的父塊”，剩余內容則與下一個初始塊拼接，進入下一輪迭代；
- 迭代：直到滿足閾值：重復上述步驟，直到剩余文本長度低于設定閾值，最終得到一系列 “上下文連貫、語義獨立” 的父塊。
這里有個關鍵優勢：該模塊僅需 LLM 的一次前向傳播（即輸出 Logits 信息），無需讓 LLM 生成完整文本，因此可使用本地部署的量化 LLM（如 8 位量化的 Llama3-8b），既降低了成本，又避免了數據外傳，完美適配企業場景。
模塊 2：Multi-Granular Chunker
檢索和生成對分塊粒度的需求完全不同：
- 檢索階段：需要小粒度塊 —— 塊越小，包含無關信息的概率越低，檢索精度越高；
- 生成階段：需要大粒度塊 —— 塊越大，包含的上下文越豐富，生成的答案越全面。
Multi-Granular Chunker 模塊的核心就是 “解耦“檢索” 與 “生成” 的粒度需求”，在父塊基礎上拆分出多粒度子塊，具體操作如下：
- 父塊打底：以 Logits-Guided Chunker 生成的 “語義完整父塊” 為基礎，確保子塊的語義根源是完整的；
- 子塊拆分：將每個父塊按 “θ/2” 和 “θ/4” 的長度拆分成兩個粒度的子塊（比如父塊是 400 個單詞，子塊就是 200 個和 100 個單詞）；
- 相似度聯動：推理時，父塊的相似度得分由其子塊的 “最高得分” 決定 —— 比如檢索 “某實驗的結論” 時，先計算所有子塊與查詢的相似度，取最高分作為對應父塊的得分；
- 選塊生成：最終選擇得分前 k 的父塊傳給 LLM 生成器，既保證了檢索精度（子塊篩選），又提供了完整上下文（父塊生成）。
整體流程：1+1>2 的協同效果
LGMGC 的整體流程可總結為 “兩步走”：
- 第一步：生成父塊：用 Logits-Guided Chunker 將文檔分割成語義完整的父塊，解決 “語義連貫性” 問題；
- 第二步：拆分多粒度子塊：用 Multi-Granular Chunker 將父塊拆分成不同粒度的子塊，解決 “檢索 - 生成粒度不匹配” 問題。
通過這種 “先整后分” 的邏輯，LGMGC 實現了 “1+1>2” 的效果：父塊保證了語義不破碎，子塊保證了檢索夠精準，二者結合讓后續的 RAG 流程效率大幅提升。
03、實驗驗證
為了驗證 LGMGC 的效果，研究者在段落檢索和開放域問答兩大任務中進行了對比實驗，選用了多個權威數據集和基線方法，結果證明 LGMGC 在所有指標上均表現最優。
實驗設置
數據集：
- 檢索任務：GutenQA（“大海撈針” 型數據集，每個問題的答案僅 1-2 句話，考驗檢索精度）；
- 問答任務：LongBench 單文檔數據集（含 NarrativeQA 敘事文本、QasperQA 學術論文、MultifieldQA 多領域文本，覆蓋不同文本類型，用于評估端到端的 RAG 性能）。
評價指標：
- 檢索任務：DCG@k（衡量檢索結果相關性與排名）、Recall@k（衡量檢索到相關證據的比例）；
- 問答任務：F1 分數（衡量預測答案與真實答案的匹配度）。
基線方法：遞歸分塊、語義分塊、段落級分塊、LumberChunker（LLM 直接分塊），以及 LGMGC 的兩個子模塊（LG Chunker、MG Chunker），確保對比的全面性。
段落檢索：語義連貫 + 多粒度 = 更高精度
實驗結果顯示，在不同塊大?。é?200/300/500）下，LGMGC 的表現始終碾壓基線：
- Logits-Guided Chunker（LG Chunker）在不同塊大小（θ = 200、300、500 個單詞）下，始終優于Recursive Chunker、Semantic Chunker和Para Chunker。這表明 LG Chunker 在捕捉上下文連貫性和生成獨立、集中的語義塊方面具有顯著優勢。
- LumberChunker在某些指標上略優于 LG Chunker，但 LG Chunker 更具成本效益且更易于部署。LumberChunker 需要遞歸調用 LLM API，而 LG Chunker 只需要一次前向傳播的 logits 信息，支持本地實現，避免了額外的計算成本和安全風險。
- Multi-Granular Chunker（MG Chunker）也表現出顯著的性能提升，尤其是在多粒度分塊方面，能夠更好地適應不同類型的查詢需求。
- LGMGC結合了 LG Chunker 和 MG Chunker 的優勢，在所有指標上均取得了最佳結果。LGMGC 不僅在語義連貫性方面表現出色，還在多粒度分塊方面展現了靈活性。
開放域問答：分塊優化讓 RAG 性能翻倍
在問答任務中，LGMGC 的優勢更明顯：
結果表明，與直接將整個文檔提供給生成器相比，應用RAG流程顯著提升了性能。關于分塊器的性能，結果與段落檢索評估中的結果一致。在使用最優塊大小的情況下，LGMGC在所有三個數據集上均表現出最高的性能，無論使用哪種檢索器和生成器。這表明，與現有基線相比，LGMGC在下游問答任務中能夠產生更優的結果。
04、總結
LGMGC 框架的創新之處，在于它跳出了 “要么重語義、要么重效率” 的傳統思維，通過 “Logits 引導語義分塊 + 多粒度適配需求” 的組合，為 RAG 分塊提供了全新范式。其核心價值可總結為三點：
- 語義更準：借助 LLM 的 Logits 信息，精準識別語義邊界，避免分塊碎片化；
- 成本更低：用本地量化 LLM 替代第三方 API，降低部署成本與安全風險；
- 適配性強：多粒度子塊能滿足檢索（小粒度）與生成（大粒度）的不同需求，適配學術、小說、新聞等多種文本類型。
當然，LGMGC 并非完美：目前它對超長篇文檔（如 10 萬字以上的書籍）的處理效率仍有提升空間；同時，塊大小 θ 的選擇仍需人工調試，未來若能實現 θ 的自適應調整，性能還能進一步提升。
但不可否認的是，LGMGC 為 RAG 技術的工程化落地提供了關鍵突破口 —— 對于企業而言，它既能提升問答系統的精度，又能控制成本與風險，是現階段分塊方案的優選。如果你正在搭建 RAG 系統，不妨試試 LGMGC，或許能讓你的系統性能實現 “質的飛躍”！
論文地址：https://arxiv.org/pdf/2501.09940
