檢索增強生成（RAG）已成為連接大語言模型與企業數據的標準范式，但該方法存在一個鮮少被討論的致命缺陷：當前生產環境中的 RAG 系統幾乎全部依賴光學字符識別（OCR）技術處理 PDF、掃描件、演示文稿等文檔，并默認假設識別結果足以支撐下游 AI 任務。

我們的深度分析表明，這一假設存在根本性缺陷。OCR 的識別質量形成了一個隱形的天花板，甚至限制了最先進 RAG 系統的性能。理想的文本提取（perfect text extraction）所能達到的效果與當前 OCR 技術所能達到的效果之間的差距，是當今企業級 AI 領域最重大卻被忽視的挑戰之一。

TLDR：

• OCR 帶來了一個隱形的性能天花板。文本提取誤差極大地制約了 RAG 系統的檢索精度與生成質量。
• 在基準測試上表現出了巨大的差距。即便是頂尖的 OCR 解決方案，較理想的文本提取的性能仍存在約 4.5% 的差距（使用 NDCG@5 指標評估），尤其是在復雜版式的文檔上。
• 純視覺生成方案尚未成熟。盡管多模態模型進步很快，但仍無法可靠地從多個文檔圖像中生成精準答案。
• 多模態檢索（Multimodal retrieval）超越了理想的 OCR 文本提取。我們的向量數據庫在檢索精度（使用 NDCG@5 指標評估）上較理想的 OCR 文本提取提升性能約 12%，可挽回 70% 因 OCR 錯誤損失的生成質量，同時還能簡化系統架構并增強未來的兼容性。

1.為何 OCR 仍是 AI 系統的關鍵環節

企業的內部核心知識大多封存在 PDF、掃描文檔、發票、演示文稿、圖像等非結構化格式中。大語言模型（LLM）要處理這些知識，必須先將可視化的或半結構化的原始格式轉化為純文本。

這一文本轉換環節通常由 OCR 引擎主導，它直接影響 RAG 系統的兩大核心組件：

1.1 檢索系統（The Retrieval System）

大多數檢索系統依賴提取的文本作為主要搜索依據。當 OCR 質量低下時，生成的文本表征會出現偏差或“失真”。這會導致文本表征存在錯誤，從而使檢索系統在用戶提問時難以或無法找到相關文檔。若文本無法準確反映內容，搜索甚至還沒開始就已經失敗了。

1.2 生成模型（LLM）

大語言模型僅能基于給定的上下文生成答案。若檢索到的文檔片段存在 OCR 錯誤（缺詞漏字、表格錯位、數字失真），LLM 接收到的信息就會有缺陷。即便檢索系統成功定位到了正確的文檔頁，最終仍會產生信息殘缺、邏輯混亂或事實錯誤的回答。

簡言之，OCR 產生的錯誤絕非止步于文本層面，而是會貫穿整個 RAG 流程 —— 既影響信息檢索的能力，又破壞答案生成的準確性。

2.OCR 性能測試：基準實驗設計方法論

為了量化 OCR 技術的“性能天花板”并評估其對實際應用的影響，我們需要一種可靠的評測方法，以衡量其在各種具有挑戰性的文檔上的表現。為此，我們基于 OHR（OCR hinders RAG） v2 基準測試[1]展開了全面實驗。

該基準測試專為評估 OCR 性能對 RAG 任務的影響而設計，主要包含以下核心模塊：

• 多樣化的、有挑戰性的文檔庫：精選 8500 余頁 PDF 文檔，覆蓋教材、法律文書、金融報表、報刊雜志、技術手冊、學術論文及行政公文七大專業領域。這些文檔普遍包含復雜版式、數據表格、數學公式、統計圖表、技術圖解及非常規閱讀順序等 OCR 系統公認的識別難點。
• 有針對性的問題：針對文檔特性構建的 8498 組問答對，專門用于測試上述 OCR 難點信息相關的檢索與理解能力。每組答案均嚴格對應文檔中的具體頁面，確保評估結果可驗證、可追溯。
• 經過驗證的問題答案：經過人工校驗過的理想的文本抽取結果與精心標注的答案集，為比較、評估提供了可靠的“gold standard”。

根據這一基準測試，我們評估了一系列 OCR 和檢索方法：

• Gemini 2.5 Flash[2]：前沿的閉源多模態模型（具備 OCR 功能）
• MinerU[3]：集成學術界先進 OCR 方法的開源工具庫
• Azure Document Intelligence[4]：行業主流的商業 OCR 解決方案
• Qwen-2.5-VL[5]：前沿的開源多模態模型（具備 OCR 功能）
• Unstructured[6]：高市占率的開源文檔解析工具庫
• Mixedbread 多模態向量數據庫[7]：基于自研多模態模型 mxbai-omni-v0.1 實現原生的多模態檢索（直接處理頁面圖像而非依賴 OCR 文本），繞過了傳統檢索對 OCR 的依賴

這一完整的實驗框架使我們能夠隔離不同 OCR 方法質量的影響，并將傳統基于文本的檢索方法與我們的多模態檢索系統進行直接性能對比。

3.檢索環節的測試方法與實驗結果

我們首先聚焦檢索環節 —— 即在海量文檔中精準定位目標信息的能力。若 RAG 系統無法精準定位相關文檔，大語言模型就沒有機會準確回答問題。

3.1 檢索環節的實驗設計

我們將 OHR 基準測試的問答對（question-answer pairs）轉化為檢索任務：將提問作為查詢指令（query），相關的證據頁面（evidence pages）則是要檢索的目標文檔。

傳統的基于文本的 OCR 方法采用 BM25 算法[8]（這是一種基于關鍵詞權重的經典檢索算法，廣泛用于搜索引擎）。（我們也嘗試了基于嵌入向量的檢索與重排序方案，但發現 OCR 噪聲會污染語義嵌入的質量，導致其性能反而不如 BM25 的基準方案，詳細分析參見此技術文檔[9]。）

Mixedbread 多模態向量數據庫調用自研的 mxbai-omni-v0.1 多模態嵌入模型，直接處理文檔頁面截圖。這種方法能夠感知頁面布局、結構特征與可視化元素，本質上具備抵御 OCR 錯誤干擾的能力。

我們使用兩項標準指標來衡量檢索性能：

• NDCG@5（Normalized Discounted Cumulative Gain @ 5）：評估前 5 位檢索結果的質量，既考察正確的文檔是否被檢出，還關注這些文檔的排名高低 —— 排名越靠前的相關文檔得分越高。選定 K=5 的依據在于：研究表明大語言模型對上下文窗口中的文檔順序極為敏感，排名靠前的文檔對其決策影響更大。
• Recall@5：這個指標衡量的是前 5 個結果中是否至少檢索到了一個正確的證據頁面（evidence pages）。該指標反映系統能否檢索到必要的信息，而不管其具體排名如何。

3.2 對檢索環節的評估結果顯示：OCR 的性能天花板確實存在

我們對檢索環節的基準測試清晰地展現了傳統依賴 OCR 的方法與多模態方案之間的顯著差異。

NDCG@5 指標表現（在七大文檔領域上的平均值）

image.png

本圖表展示各檢索方法在七大文檔領域的平均 NDCG@5 得分。該指標同時考量前 5 位檢索結果中相關文檔的存在情況及排序質量 —— 數值越高代表檢索越準確，其中排名靠前的相關頁面的權重也越高。

圖片

Recall@5 指標表現（在七大文檔領域上的平均值）

圖片

本圖表顯示了各方法在七大文檔領域測試中的平均 Recall@5 值。該指標反映了前 5 位檢索結果中出現至少一個正確的證據頁面的提問占比 —— 數值越高代表系統性能越佳。

1748586968948.jpg

這些實驗結果揭示了幾個重要的觀點：

• OCR 形成了“性能天花板”：所有被測 OCR 方案均落后于基準值。最優 OCR 方案的 NDCG@5 指標平均值僅為 0.74，與基準值 0.773 存在 4.5% 的絕對差距，這證實了 OCR 誤差從本質上限制了檢索效率。
• 文檔的復雜度放大了 OCR 方案存在的問題：在 finance、textbooks、news 等布局復雜的文檔領域，性能差距進一步擴大。表格、數學公式、多欄文本等元素大大加劇 OCR 的識別難度。
• 多模態系統通過視覺-文本聯合理解實現性能突破：Mixedbread Vector Store 的性能始終優于其他傳統方案，它的 NDCG@5 平均值為 0.865（較基準方法提升了近 12%），因為它能通過直接解析頁面圖像中的版式結構、表格圖表等視覺信息，獲取更豐富的語義關聯線索。

在基準文本上，使用 Mixedbread Vector Store，Recall@5 指標從基準方法的 0.84 躍升至 0.92，具體表現為：

• 基準方法（perfect OCR）：Recall@5=84% → 每 100 份相關文檔中，有 84 份被檢索到，且排在前 5 位。
• 多模態方案（Mixedbread Vector Store）：Recall@5=92% → 每 100 份相關文檔中，有 92 份進入了前 5 名。

該指標實現了 8% 的絕對提升（相對提升達 9.5%），這意味著檢索性能的大幅提高。本組基準測試量化了單純依賴 OCR 技術所帶來的性能瓶頸。雖然更好的 OCR 有所幫助，但多模態路徑才是實現檢索能力飛躍的根本方向。

4.生成環節的測試方法與實驗結果

現在好了，多模態檢索能夠找到更優的文檔，從而突破了 OCR 的性能上限。但這種檢索效果的提升，是否真能讓大模型給出更準確的最終答案呢？為了找出答案，我們測試了端到端的 RAG 的性能。

4.1 生成環節的試驗設置

我們設置了三種場景，將每種場景檢索到的前 5 篇文檔輸入同一個強大的 LLM（gemini-2.5-flash-preview-04-17）進行答案生成：

1）Perfect OCR & Perfect Retrieval (Ground Truth)：使用經過人工驗證的文本進行生成，并將真實的證據頁面（evidence pages）作為輸入（也就是所謂的“Perfect Retrieval”）。這代表了在擁有正確上下文和理想的文本提取能力的情況下，當前模型可達到的理論最高性能。

2）Perfect OCR & Retrieval：在 BM25 檢索、Top 5 文本片段選取及生成階段均采用經過人工校驗的文本。這代表了在 OCR 處于理想情況下，系統所能提供的理想質量。

3）Mixedbread OCR（基于文本的 RAG）：在 BM25 檢索（獲取前 5 個文本片段）和生成上下文環節中，均采用我們高質量 OCR 引擎提取的文本。這就模擬了一個標準的、高質量的純文本 RAG 流程。

4）Mixedbread Vector Store（多模態檢索）：使用我們的多模態模型檢索前 5 頁的圖像，但隨后使用 Mixedbread OCR 提取的對應干凈文本作為生成上下文。這種做法既保留了視覺檢索的優勢，又能確保生成環節的輸入模態（文本）保持一致。

為評估效果，我們主要關注"正確答案率"指標。具體做法是：以 GPT-4.1 作為中立裁判，向其提供原始問題、標準答案、標準證據文本，以及 gemini-2.5-flash-preview-04-17 在各測試場景下生成的答案。最終得分按"正確回答數除以總問題數"的簡單公式計算。

4.2 對生成環節的評估結果顯示：檢索質量提升 = 答案準確率提高

對生成環節的測試驗證了我們的假設：更優質的檢索能直接帶來更準確的答案。

正確答案率

image.png

本圖表展示了每種生成方法的正確答案占比（基于7個領域的平均值，由 GPT-4.1 評判）。數值越高，表明大模型生成的答案越準確，越接近正確答案（ground-truth）。

1748587243677.jpg

這些實驗結果揭示了幾個重要的觀點：

• OCR 的缺陷在生成階段被放大：與使用 perfect text（0.913 的基準值）相比，依靠標準 OCR 技術進行檢索和生成會導致正確答案減少 25.8%（0.677）。錯誤的輸入上下文大大降低了 LLM 生成準確答案的能力。
• 優質的檢索能夠大幅提升準確率：僅將標準的使用 OCR 技術的檢索過程替換為使用 Mixedbread 向量數據庫的多模態檢索（生成環節仍使用相同的存在潛在缺陷的 OCR 文本），平均正確答案率即從 0.677 躍升至 0.843。僅此一項改進，就挽回了標準 OCR 流程 70% 的準確率損失。
• 找到正確的文檔頁面至關重要：在生成過程中，檢索質量往往比所提取文本的完美程度更關鍵。即便存在輕微的 OCR 提取缺陷，讓大模型獲取到正確文檔的收益，遠高于提供錯誤文檔中稍干凈的文本。

這些生成環節的測試證明，最先進的多模態檢索技術能有效抵消 OCR 過程中產生的錯誤對下游任務的大部分負面影響。

5.Direct Image Generation：僅依賴視覺的 RAG 系統是否可行？

視覺信息在檢索階段的成功引發了一個關鍵問題：能否在生成階段完全跳過 OCR？若將檢索到的頁面圖像直接輸入 Gemini 2.5 Flash 等多模態大語言模型，并讓其通過“閱讀”圖像生成答案，效果會如何？我們測試了這種“端到端圖像理解”的方案：

正確答案率（在三大文檔領域上的平均值）

1748587361949.jpg

1748587445380.jpg

這些實驗結果揭示了三個重要的觀點：

• 純圖像輸入方案的表現欠佳：直接向大語言模型輸入頁面圖像進行生成時，平均正確率最低（0.627）
• Visual Retrieval vs. Visual Generation：多模態模型擅長利用視覺線索進行檢索，但在生成環節直接從多個文檔圖像中提取細節信息的能力，仍顯著弱于處理預處理文本
• 高質量的 OCR 文本仍然是生成環節的最佳選擇（現階段）：目前，向 LLM 提供干凈、清晰的文本可以得到最準確的答案。

結論：雖然僅依賴視覺的 RAG 系統充滿想象空間，但現階段通過多模態檢索獲取文檔，再結合高質量的 OCR 文本進行生成，仍是綜合性能最優的解決方案。

6.典型案例：標準 OCR 的失效場景

為使 OCR 技術局限性的影響具象化，我們將基于基準數據剖析幾個典型場景。這些案例既揭示了基于 OCR 的傳統系統的常見失效場景，也論證了多模態檢索方法如何實現更精準的文檔解析。

6.1 案例1：Regulatory Filings 中手寫數據的挑戰

場景特征：以電信公司提交的 PUCO 年度報告為例，此類 Regulatory filings（譯者注：企業/機構依法向監管部門提交的標準化文件）通常將結構化的打印內容與關鍵的手寫財務數據混合排版在一起。這種混合內容對傳統 OCR 系統構成了嚴峻的挑戰 —— 手寫內容常被錯誤識別，可能導致合規風險與數據分析結果偏離。

image.png

典型的 OCR 輸出及其局限性

當采用標準的 OCR 引擎處理此類文件時，關鍵的手寫財務數據往往會完全丟失或被錯誤解析：

圖片

對 RAG 系統的影響：當用戶提出類似“TSC Communications 的總營收是多少？”的查詢（query）時，依賴此類有缺陷的 OCR 輸出的 RAG 系統可能返回："無法從當前文檔獲取營收數據"。這種情況將迫使人工介入審核，嚴重延誤監管報送與決策分析。

多模態解決方案：相比之下，多模態系統通過分析文檔的視覺布局與筆跡特征，可同步解析結構化表格與手寫財務數據。這種全局理解能力使其能夠準確識別出總營收為 2,775,060 美元（其中運營收入 2,325,472 美元，其他收入 449,588 美元），從而生成關于公司財務狀況及監管義務的精準自動化響應。

6.2 案例 2：如何從金融圖表中提取趨勢信息

情景概述：在季度投資分析報告中，常運用堆疊面積圖等可視化工具呈現資產配置變化。傳統 OCR 技術在此場景下僅能識別表層文本信息（如標題、圖例標注），卻無法捕捉承載核心趨勢的可視化數據。

image.png

傳統 OCR 技術的輸出及其局限性

標準 OCR 工具可能只會提取標簽和標題，而忽略了核心數據：

Portfolio Allocation Trends (Q1 2023 - Q4 2024)

Percentage (%)

100

75

50

25

0

Q1 2023, Q2 2023, Q3 2023, Q4 2023, Q1 2024, Q2 2024, Q3 2024, Q4 2024

Cash, Commodities,Real Estate,Fixed Income, Equities

對 RAG 系統的影響：當客戶咨詢"我的權益類資產占比過去一年如何變化？"時，基于傳統 OCR 輸出的 RAG 系統只能提供有關投資組合組成部分的一般信息，完全無法解讀圖表中揭示的關鍵趨勢 —— 例如權益類資產配置有 13 個百分點的增幅，而這正是評估投資風險的核心依據。

多模態解決方案：多模態系統通過直接對圖表進行直觀分析，既能識別每個時間點的配置比例，也能識別整體趨勢模式。這樣，它就能準確地做出反應："您的權益類資產配置在過去的一年內從 45% 攀升至 58%，這是您的投資組合構成中最大的變化。" 系統甚至可以提取特定季度的數據來補充說明這一情況。

6.3 示例 3：復雜財務報表的精準解析

情景描述：財務報表中常包含多欄表格，詳細列出收入明細與運營開支。使用 OCR 對此類復雜表格結構進行識別，其難點在于保持行與列的正確對齊 —— 當表格識別出現對齊錯誤時，會導致財務數據被錯誤歸類（例如將"研發支出"的數值誤關聯到"市場營銷"下）

image.png

傳統 OCR 技術的輸出及其局限性

即便文字內容被提取，OCR 的細微對齊錯誤或解析錯誤仍會破壞表格結構：

圖片

對 RAG 系統的影響：當財務分析師詢問"2025 年研發支出占收入的比例相較 2024 年有何變化？"時，基于 OCR 識別出的錯誤表格結構數據的 RAG 系統可能曲解數據之間的關系，產生諸如"2025 年研發占比 49%，而 2024 年高達 8,675%"的荒謬回答。這類錯誤源于系統無法正確理解表格的視覺結構與語義邏輯。

多模態解決方案：通過分析表格的視覺結構，系統能準確識別標題、金額與百分比數字之間的復雜對應關系。這樣就能做出準確的答復："盡管研發支出絕對值增長了 49%，但其占凈收入的比例從 2024 年的 14.2% 下降至 2025 年的 9.9%。"系統可以同時把握財務數據的空間布局與語義關聯。

7.Mixedbread Vector Store 所使用技術方案的核心功能與實施價值

該向量數據庫專為解決 OCR 依賴型 RAG 系統的固有缺陷而設計，其核心架構基于 mxbai-omni-v0.1 多模態模型實現跨模態信息檢索。該模型可直接分析文檔頁面截圖、視頻等原始視覺內容并生成嵌入向量，從而在其原始上下文中理解布局、結構、表格和圖表。基準測試表明，相較理想的文本提取方案（perfect text extraction），該方案將檢索準確率（NDCG@5）提升約 12 個百分點。

系統在進行視覺分析的同時，通過 OCR 引擎并行處理文本內容。提取的文本數據將與視覺嵌入向量同步存儲，形成雙模態協同優勢：

• 增強檢索能力：當純文本檢索因 OCR 錯誤或特殊內容（如圖表、復雜表格）失效時，視覺分析能精準定位相關文檔
• 優化生成上下文：保留高質量 OCR 文本，適配當前以文本輸入為主的大語言模型生成需求
• 自動化文檔處理：系統自動完成視覺嵌入與文本提取，用戶無需干預數據預處理流程
• 對未來 LLM 的適配：同步存儲視覺表征與文本數據，為未來多模態 LLM 直接利用圖像信息生成內容做好技術儲備

這種一體化設計方案能夠大大提升 RAG 系統的綜合性能：基準測試顯示這種技術路線不僅能夠實現檢索效率的大幅提升，更在統一框架內挽回傳統流程因 OCR 問題損失的 70% 生成準確率。

8、結論：利用多模態檢索突破 OCR 的性能瓶頸

基準測試數據表明，光學字符識別（OCR）的質量是制約 RAG 系統性能的核心瓶頸，尤其是在處理復雜的現實世界文檔時。文本提取過程中的錯誤與遺漏不僅會限制準確檢索相關信息的能力，更會直接影響大語言模型生成最終答案的質量。

將多模態分析納入檢索流程的策略（如 Mixedbread Vector Store 技術方案）可解決其中的部分限制。通過直接解析頁面圖像的視覺語義，這種方法在測試中相較理想的文本提取基準方法提升 12% 檢索準確率（NDCG@5）。檢索性能的提升，使傳統流程因 OCR 錯誤損失的 70% 的生成準確率得以恢復。

雖然現階段大語言模型在答案生成環節仍依賴高質量文本輸入，但多模態系統展現的強大檢索能力為文檔理解開辟了一條較為有效的技術路徑。同時集成視覺驅動檢索與高質量 OCR 文本的 RAG 系統，不僅為當前實際應用需求提供了有效的解決方案，更為未來大語言模型直接利用圖像數據進行生成任務奠定了基礎。

本研究證實：在處理多樣化、結構復雜的文檔場景時，將多模態理解能力融入檢索流程是提升 RAG 系統準確性與可靠性的關鍵考慮因素。

文中鏈接

[1]https://arxiv.org/abs/2412.02592

[2]https://ai.google.dev/gemini-api/docs/models

[3]https://github.com/opendatalab/MinerU

[4]https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/overview?view=doc-intel-4.0.0

[5]https://github.com/QwenLM/Qwen-VL

[6]https://github.com/Unstructured-IO/unstructured

[7]https://www.mixedbread.com/docs/vector-store

[8]https://en.wikipedia.org/wiki/Okapi_BM25

[9]https://docs.google.com/spreadsheets/d/1zBGOIOCzZZjw1HXBGGI8BzNx_kYj34LlYaFteZTU7Bg/edit?usp=sharing