傳統(tǒng)的基于OCR的pipline的相關(guān)技術(shù)路線（如下圖），目前多模態(tài)大模型的出現(xiàn)，文檔解析技術(shù)鏈路出現(xiàn)了新的一些玩法。

最近看到一個新產(chǎn)品，EasyDoc（https://www.easylink-ai.com/easy-doc/），在原有的OCR鏈路中引入了多模態(tài)大模型進(jìn)行圖表理解，由此，筆者又更新了一張圖，如下：

圖2：OCRpipline結(jié)合多模態(tài)大模型的文檔智能解析技術(shù)路線

下面我們來看結(jié)合?EasyDoc這個新框架，看看Easydoc文檔解析過程中的相關(guān)技術(shù)實(shí)踐路線、通過實(shí)際深度的測試看看Easydoc的效果及差異化特點(diǎn)和Easydoc文檔層次化結(jié)構(gòu)對于RAG的增益思考。供參考。

一、Easydoc文檔智能解析技術(shù)路線

1.1、版式分析

文檔版式分析是指對文檔的物理結(jié)構(gòu)、視覺布局及內(nèi)容組織形式進(jìn)行系統(tǒng)性解析的過程。通過bounding box定位其中的關(guān)鍵區(qū)域，識別文檔中的各類元素（如圖像、表格等）及其空間分布、格式特征，從而理解文檔的整體架構(gòu)和信息呈現(xiàn)邏輯。

版式分析區(qū)塊識別

版式分析如圖1、2所示，在文檔智能解析路線中處于龍頭地位，其優(yōu)勢在于通過大量標(biāo)注的數(shù)據(jù)，準(zhǔn)確的劃分出文檔關(guān)鍵區(qū)域，獲取對應(yīng)的各區(qū)塊的bounding box和標(biāo)簽類別，分發(fā)到后續(xù)流程進(jìn)一步的處理。如：

• 文本區(qū)域：頁眉、頁腳、標(biāo)題、段落、頁碼、腳注、圖片標(biāo)題、表格標(biāo)題等
• 表格
• 公式
• 圖片

版式分析的伴隨著多場景，尤其是通用場景的版式分析，對于模型的識別能力有所挑戰(zhàn)。筆者嘗試了下Easydoc的多場景的版式分析能力，效果還不錯。

Easydoc版式分析效果

1.2、表格識別與解析

表格識別與解析的難點(diǎn)一般如下：

• 表格的多樣性和復(fù)雜性：表格的形式多種多樣，包括有線表、無線表和少線表，這使得檢測和分割單元格變得復(fù)雜 。
• 表格單元格的合并與拆分：某些表格中的單元格可能跨行或跨列，甚至跨頁，需要準(zhǔn)確識別這些合并的單元格并將其恢復(fù)成標(biāo)準(zhǔn)單元格 。
• 表格內(nèi)容的識別和解析：表格中可能包含圖像、公式、符號等非文本內(nèi)容，需要將它們轉(zhuǎn)換成文本或保留格式 。
• 表格結(jié)構(gòu)的表示和輸出：不同的應(yīng)用場景可能需要不同的表格結(jié)構(gòu)表示方式，如 HTML、JSON、CSV 等，需要將識別結(jié)果轉(zhuǎn)換成適合目標(biāo)應(yīng)用的格式，并保留數(shù)據(jù)和樣式信息。

從上面可以看到，傳統(tǒng)的表格與識別解析方案可以歸結(jié)為，識別表格結(jié)構(gòu)+OCR文字識別，也就是下面技術(shù)實(shí)現(xiàn)圖：

傳統(tǒng)的表格解析技術(shù)路線

隨著多模態(tài)大模型的出現(xiàn)，端到端的表格解析或者是表格理解也提供了新的技術(shù)思路。優(yōu)勢可以體現(xiàn)為，不需要多個高精度的專家小模型參與pipline的過程，避免錯誤傳播的風(fēng)險(xiǎn)。筆者觀察到，EasyDoc在表格解析與理解端引入了相關(guān)多模態(tài)大模型。

1.3、圖片理解

一般的pipline鏈路，文檔類的圖片元素直接在版式分析階段已經(jīng)拿到bounding box，后續(xù)流程不會對其進(jìn)行特殊的處理。但圖片元素對于文檔而言，又是文檔中不可或缺的元素信息，多模態(tài)大模型的出現(xiàn)，是的文檔中圖片理解成為可能。EasyDoc中引入了多模態(tài)大模型，對圖片進(jìn)行理解生成相關(guān)caption，caption對于RAG召回也提供了豐富的上下文信息（其經(jīng)解析后可轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)（如財(cái)報(bào)中的財(cái)務(wù)指標(biāo)），使 RAG 系統(tǒng)能精準(zhǔn)召回相關(guān)數(shù)據(jù)點(diǎn)）。也能幫助 RAG 系統(tǒng)理解文檔的整體架構(gòu)。例如，在學(xué)術(shù)論文處理中，模型可自動關(guān)聯(lián)圖片標(biāo)題與正文引用，避免傳統(tǒng) RAG 因結(jié)構(gòu)割裂導(dǎo)致的信息錯位。

1.4、閱讀順序

由于文檔布局的復(fù)雜性，包括多欄、嵌套表格、不規(guī)則的文本框等，這增加了閱讀順序恢復(fù)的難度。

1.5、文檔恢復(fù)（文檔層次化）

文檔層次化的就是通過版式分析得到的bounding box位置信息對文檔進(jìn)行恢復(fù)，并對相關(guān)標(biāo)簽進(jìn)行關(guān)系的鏈接。EasyDoc采取的方式是通過??parent_id??來描述文檔中各元素之間的父子關(guān)系（從屬關(guān)系）：形式化就是<表，parent_id，章節(jié)>、<段落，parent_id，章節(jié)>等。這種層級結(jié)構(gòu)（如 parent_id）為每個語義單元提供文檔路徑上下文，增強(qiáng) RAG 系統(tǒng)的檢索準(zhǔn)確性。

二、EasyDoc差異化功能測試

EasyDoc結(jié)合視覺布局與語義理解，精準(zhǔn)識別復(fù)雜文檔結(jié)構(gòu)，輸出邏輯完整的語義單元。

Easydoc多場景版式分析效果

Easydoc結(jié)合多模態(tài)模型對圖片進(jìn)行理解，其特點(diǎn)體現(xiàn)在實(shí)現(xiàn)了類似ChartQA的功能，如：柱狀圖、餅狀圖、折線圖等的理解與解析，能夠精確的理解數(shù)值圖的內(nèi)容以及OCR數(shù)值提取。

Easydoc多模態(tài)圖片理解

在1.2節(jié)介紹到，傳統(tǒng)的小模型的方案存在錯誤傳播的風(fēng)險(xiǎn)，并且傳統(tǒng) OCR 對模糊、傾斜、光照不均的圖像敏感，識別率顯著下降。多模態(tài)大模型通過多尺度視覺特征提取和數(shù)據(jù)增強(qiáng)提升抗干擾能力。OCR還需依賴模板或人工規(guī)則進(jìn)行后處理，而多模態(tài)大模型支持無模板的端到端解析，并具備更強(qiáng)的泛化能力。EasyDoc支持多欄、多表合并的復(fù)雜表格輸出元信息，如下圖，key-value的json形式表示表格。

Easydoc多模態(tài)表格解析

對于一些跨頁的表格，EasyDoc也支持跨頁表格的識別，如下圖，可以看到識別并合并到了一個json中：

EasyDoc跨頁表格識別

三、多類型文檔解析對RAG系統(tǒng)的增益

EasyDoc支持多種格式的文檔解析，為RAG知識庫的構(gòu)建提供便利，兼容 .dotm、.docm、.doc、.dotx、.docx、.txt、.html、.dot、.xltm、.xlsm、.xlsx、.xls、.xlt、 .pptx、.potm、.pptx、.ppt、.pot、.pps、.tif、.png、.jpg、.bmp 等主流格式，適配多樣化業(yè)務(wù)場景。

筆者還觀察到一個功能，那就是文檔層次化，文檔層次化可以保留上下文，通過層級結(jié)構(gòu)（如 parent_id）為每個語義單元提供文檔路徑上下文，增強(qiáng) RAG 系統(tǒng)的檢索準(zhǔn)確性。筆者在之前的文章中也介紹過，傳統(tǒng)的RAG系統(tǒng)知識庫的構(gòu)建，并沒有利用到文檔的結(jié)構(gòu)化信息，GraphRAG可以解決一些層次化的問題，如下圖RAG vs GraphRAG。

RAG vs GraphRAG

但是還不夠，此時(shí)還沒有利用到文檔的層次結(jié)構(gòu)，因此筆者又拿出往期文章中的介紹的圖（感興趣可以翻看筆者往期文章），如下：

DocGraph

DocGraph經(jīng)過布局分析，進(jìn)行區(qū)域間關(guān)系（Inter-region relationship）抽取，如一個表格與其相應(yīng)的標(biāo)題、來源、引用段落、所屬章節(jié)之間的關(guān)系；層級邏輯關(guān)系包括標(biāo)題、小節(jié)標(biāo)題、段落等。這一點(diǎn)到是在EasyDoc看到了這個思想。

EasyDoc文檔層次結(jié)構(gòu)化樹

因此可以看到，DocGraph不就是不就可以看做是一個知識圖譜嗎？建模到RAG中進(jìn)一步的不就演變成了帶文檔層次結(jié)構(gòu)的GraphRAG？這也進(jìn)一步的為RAG知識線索溯源帶來增益。具體增益體現(xiàn)筆者歸納了一下，供參考：

• 層次化樹結(jié)構(gòu)通過捕捉parent_id關(guān)系顯式建模文檔的層級結(jié)構(gòu)（如章節(jié)→子章節(jié)→段落）。提升GraphRAG性能；
• 樹結(jié)構(gòu)中的上下文信息（如標(biāo)題、摘要）與文本內(nèi)容形成互補(bǔ)。例如，RAPTOR 模型通過遞歸聚類生成層次化樹；
• 結(jié)構(gòu) - 語義聯(lián)合檢索：GraphRAG 支持同時(shí)查詢樹結(jié)構(gòu)路徑和文本語義。
• 層次化社區(qū)檢測與摘要生成：通過 Leiden 算法等社區(qū)檢測技術(shù)，GraphRAG 將樹結(jié)構(gòu)劃分為不同粒度的社區(qū)（如 C0 全局級、C1 主題級、C2 細(xì)節(jié)級），并生成層次化摘要。
• 路徑導(dǎo)向的邏輯鏈構(gòu)建：層次化樹結(jié)構(gòu)支持構(gòu)建 “章節(jié)→子章節(jié)→段落→實(shí)體” 的多跳推理路徑。
  ....

總結(jié)

本文從EasyDoc這個新的文檔解析產(chǎn)品再次回顧了文檔解析相關(guān)技術(shù)路線，并結(jié)合筆者深度體驗(yàn)了下EasyDoc的相關(guān)差異化的點(diǎn)，如：多模態(tài)圖表理解、文檔層次化樹的構(gòu)建等創(chuàng)新亮點(diǎn)，得出結(jié)論：小模型和多模態(tài)的模型可以協(xié)同創(chuàng)新解決文檔結(jié)構(gòu)化的難點(diǎn)。并且，RAG知識庫的構(gòu)建出了精確提取文檔內(nèi)容之外，還可以利用文檔結(jié)構(gòu)化層次樹搞出一些新的玩法，比如如何像EasyDoc一樣構(gòu)建DocGraph，如何將DocGraph進(jìn)一步的融入RAG系統(tǒng)，提升RAG系統(tǒng)性能。

本文轉(zhuǎn)載自??大模型自然語言處理??   作者：余俊暉