在 RAG（Retrieval-Augmented Generation）架構系統中，從文檔中提取信息是不可避免的，而系統輸出的質量在很大程度上取決于從源內容中提取信息的效果。本文結合近期一篇 RAG 調查報告的發現與我之前的部分研究，對 RAG 系統如何解析和整合結構化、半結構化、非結構化和多模態知識進行了簡明概括。

下文我們詳細剖析之。

一、多模態數據 RAG 文檔解析工具選型

1、結構化知識：數據按規則組織的范式

1.1 知識圖譜：易于查詢，便于使用，難以集成

知識圖譜把實體織成一張高密度的關系網，天生適合機器“按圖索驥”。對 RAG 來說，它像一份精確定位的高清地圖--坐標清晰、語義飽滿。真正的難題不是“找不到路”，而是如何讓大模型在錯綜復雜的路口選出最短、最準的那條，并把沿途的地標翻譯成自然語言講給人聽。

• 如何從海量知識圖譜中提取有意義的子圖？
• 如何將結構化的圖譜數據與自然語言對齊？
• 隨著圖譜規模的增長，系統是否仍能保持高效？

一些有前景的解決方案正逐步解決這些問題：

• GRAG：從多個文檔中檢索子圖，生成更聚焦的輸入。
• KG-RAG：采用探索鏈算法（Chain of Explorations，CoE）優化基于知識圖譜的問答性能。
• GNN-RAG：采用圖神經網絡（GNN）檢索和處理來自知識圖譜（KG）的信息，在數據輸入大語言模型（LLM）之前先進行一輪推理。
• SURGE：利用知識圖譜生成更具相關性和知識感知（knowledge-aware）的對話，從而提升交互質量。

在特定領域，諸如 SMART-SLIC、KARE、ToG2.0 和 KAG 等工具已充分證明，知識圖譜作為外部知識源可以發揮多么強大的作用，可幫助 RAG 系統同時提升準確性和效率。

1.2 表格：結構緊湊、數據密集且解析困難

表格同樣是“井然有序”的數據，卻與知識圖譜截然不同：小小幾行幾列，就能把海量信息壓得密不透風。可要教會機器“讀”懂它們，又是另一場硬仗——行列之間暗藏的公式、跨表引用的關系、各業務領域獨有的縮寫和口徑，讓同一張表在 A 場景是“資產”，在 B 場景可能就成了“噪音”。好在已經有一批工具專門替模型啃這塊硬骨頭：

• TableRAG：結合查詢擴展（query expansion）、表結構與單元格檢索（schema and cell retrieval），在將信息傳遞給語言模型前精準識別關鍵內容。
• TAG 和 Extreme-RAG：更進一步整合了 Text-to-SQL 能力，使語言模型能夠直接“操作數據庫”。

核心結論？若能有效解析表格，它們就是價值極高的信息源。

2、半結構化數據：HTML、JSON 以及網絡數據的雜亂中間態

半結構化數據像一條“半敞的門簾”：既沒完全敞開，也沒徹底關死。HTML、JSON、XML、郵件……它們自帶標簽與層級，卻各唱各的調，缺胳膊少腿是常態。以 HTML 為例，同一個 `<div>` 在 A 站點是正文，在 B 站點可能只是廣告殼，標簽、屬性、文本與圖片犬牙交錯。  

想把這團亂麻變成模型可讀的結構，業界早已備齊工具鏈：BeautifulSoup、htmlparser2、html5ever、MyHTML、Fast HTML Parser 等庫，一鍵把 HTML 解析成 DOM 樹；HtmlRAG 更進一步，直接把原始標記送進 RAG，保留語義與層級，省得模型“腦補”。  

要讓 RAG 讀懂網頁而不胡說八道，先把 HTML 捋成樹，再喂給模型——這是繞不開的第一步。

3、非結構化知識：PDF、純文本（既雜亂又有內在邏輯）

真正的硬仗在這里。  

非結構化數據像一片未經開墾的原始森林--論文、報告、掃描件、隨手拍的照片，格式橫沖直撞，排版毫無章法。PDF 更是其中的“泥石流”：一頁之內，欄位、圖表、腳注、批注擠成一團；換個文件，字體大小、邊距、水印又全變樣。偏偏學術、法律、金融這些“高精尖”場景，90% 的核心信息都鎖在這種文件里。  

要讓 RAG 系統吞得下、嚼得碎、還能準確吐出答案，就得先給這片原始森林開出一條條可通行的“數據棧道”。

我們可以使用更智能的 OCR 技術、版面分析技術和視覺內容 - 語言融合技術：

• Levenshtein OCR 和 GTR：結合視覺和語言線索來提高識別準確率。
• OmniParser 和 Doc-GCN：專注于保留文檔的結構。
• ABINet：采用雙向處理機制提升 OCR 系統的表現。

與此同時，一大波開源工具的出現使得將 PDF 轉換為 Markdown（一種對 LLM 更友好的格式）的過程變得更加容易。有哪些工具？

• GPTPDF：利用視覺模型解析表格、公式等復雜版面結構，并快速轉換為 Markdown 格式——該工具運行高效且成本低廉，適合大規模部署。
• Marker：專注于清除噪聲元素，同時還保留原始格式，因而成為處理研究論文和實驗報告的首選工具。
• PDF-Extract-Kit（MinerU 采用的 PDF-Extract-Kit 模型庫）：支持高質量內容提取，包括公式識別與版面檢測。
• Zerox OCR：對每頁文檔進行快照處理，通過 GPT 模型生成 Markdown，從而高效管理復雜文檔結構。
• MinerU：一種綜合解決方案，可保留標題/表格等原始文檔結構，并支持受損 PDF 的 OCR 處理。
• MarkItDown：一種多功能轉換工具，支持將 PDF、媒體文件、網頁數據和歸檔文件轉為 Markdown。

4、多模態知識：圖像、音頻與視頻數據一同入場

純文本出身的傳統 RAG，一旦遇到圖片、音頻或視頻就瞬間“失明”--答案往往流于表面，因為關鍵線索藏在像素、波形或幀序列里，而非字符之間。  

新一代多模態 RAG 的做法是“把不同感官翻譯成同一種語言”：將文本、圖像、音頻、視頻統統投射到同一個共享嵌入空間，實現一次檢索、跨模態命中。核心步驟如下：

• CLIP：在共享嵌入空間中對齊視覺與語言模態。
• Wav2Vec 2.0 和 CLAP：專注于建立音頻與文本的關聯。
• ViViT：在視頻領域，專為捕捉時空特征而設計。

這些技術都是基礎模塊。隨著系統的不斷演進迭代，我們將看到能夠一次性從文檔、幻燈片及語音內容中提取洞見的 RAG 應用。

5、結語

在一線實際工程里，我把開源生態試了個遍，最終把票投給 MinerU--它像一把“瑞士軍刀”，能把最棘手的 PDF 拆得干凈利落。  

當然，你也可以親手造輪子：自己掌控每一行代碼、每一次加密、每一次緩存命中。代價是熬夜調 OCR、對齊坐標、修版面，但換來的是更高的可控性、更穩的隱私墻，以及隨時可插拔的升級空間。下一篇，我會把踩過的坑和調優腳本打包成清單，直接復用。  

當模型不再只認得文字，而能同時聽懂圖表、聲音和影像，我們才算真正邁進了“全感知”時代。

好了，這就是我今天想分享的內容。

本文轉載自???玄姐聊AGI??  作者：玄姐