圖片

在人工智能的浪潮中，多模態大模型（VLM）正以前所未有的速度改變著我們的世界。從自然語言處理（NLP）到計算機視覺（CV），從大型語言模型（LLM）到檢索增強生成（RAG）和智能體（Agent），AI的邊界不斷被拓展。而今天，我們將聚焦于一個關鍵領域——文檔結構化抽取，看看12種頂尖的VLM多模態大模型，誰才是真正的強者！

一、什么是文檔結構化抽取？

在數字化時代，文檔無處不在，從發票、合同到研究報告，它們承載著海量的信息。然而，這些信息大多以非結構化的形式存在，難以直接被計算機理解和處理。文檔結構化抽取的目標就是從這些非結構化的文檔中提取出結構化的數據，讓機器能夠像人類一樣理解和分析文檔內容。

二、docext的六大能力

為了全面評估這些多模態大模型的性能，docext提供了以下六大能力的測試：

1. 關鍵信息提取（KIE）

從發票、合同等文檔中提取名稱、日期、金額等關鍵字段，這是文檔處理的基礎。

2. 視覺問答（VQA）

通過問答的形式評估模型對文檔內容的理解能力，這不僅考驗模型的文字理解能力，還考驗其視覺理解能力。

3. 光學字符識別（OCR）

衡量模型識別印刷文本和手寫文本的準確性，這對于處理各種字體、布局和文檔條件至關重要。

4. 文檔分類

評估模型對各種文檔類型的分類準確性，這對于文檔管理和檢索非常關鍵。

5. 長文檔處理

測試模型在長篇、有豐富上下文的文檔上的推理能力，這對于處理復雜的文檔結構至關重要。

6. 表格提取

基準測試從復雜表格格式中提取結構化數據，這對于數據分析和處理非常關鍵。

三、模型大比拼

方法論

根據任務提出不同的問題，模型的答案可以是文本或 JSON 格式。對于 OCR、VQA 和分類等任務，我們期望模型給出純文本答案。對于 KIE、LongDocBench 和表格提取等任務，我們期望模型根據提示中的說明返回格式正確的 JSON 格式。

所有數據集均附有真實答案（正確答案）。我們根據任務使用不同的準確率指標：

• 對于KIE、OCR、VQA和LongDocBench，我們使用編輯距離準確度。
• 對于分類，我們使用精確匹配準確度。
• 對于表格提取，我們使用GriTS 度量。

在這場激烈的競爭中，12種頂尖的VLM多模態大模型展開了全方位的較量。讓我們來看看它們的表現：

1. 綜合表現最強：gemini-2.5-flash-preview-04-17

在關鍵信息提取方面，gemini-2.5-flash-preview-04-17表現卓越，能夠準確識別和提取發票的名稱、日期、金額等結構化數據。這使得它在處理復雜的文檔結構時游刃有余。

圖片

2. 信息抽取能手：gemini-2.5-flash-preview-04-17

在文檔問答方面，gemini-2.5-flash-preview-04-17展現了強大的能力。無論是基于文本的問題，還是需要了解文檔視覺布局和結構的問題，它都能給出準確的答案。

圖片

3. OCR能力之星：gemini-2.0-flash

在OCR能力方面，gemini-2.0-flash表現突出。它能夠識別包括手寫文本、數字印刷文本和帶變音符號的文本，處理各種字體、布局和文檔條件，同時保持高精度的文本識別。

圖片

4. 文檔分類高手：qwen2.5-vl-72b-instruct

在文檔分類方面，qwen2.5-vl-72b-instruct表現卓越，能夠以99%以上的準確率對文檔進行分類。這使得它在文檔管理和檢索方面具有巨大的優勢。

圖片

5. 長文檔處理專家：claude-3.7-sonnet (reasoning:low)

在長文檔處理方面，帶有推理能力的claude-3.7-sonnet (reasoning:low)表現卓越。它能夠跨多個頁面維護上下文，了解文檔結構，并從大型文檔中準確檢索信息。

圖片

6. 表格提取挑戰者：claude-3.7-sonnet (reasoning:low)

在表格提取方面，qwen2.5-vl-72b-instruct差點跌出榜單嘍，但在其他方面卻有著出色的表現。這表明在表格處理方面，仍有很大的提升空間。

圖片

四、未來展望

這場多模態大模型的較量，不僅展示了當前技術的頂尖水平，也為未來的發展指明了方向。隨著技術的不斷進步，我們有理由相信，未來的多模態大模型將在文檔結構化抽取領域達到更高的水平，為我們的工作和生活帶來更多的便利。