高效抽取PDF文件打造RAG，從LlamaParse轉向PymuPDF4llm 原創

AI科技論談

發布于 2024-12-3 15:14

瀏覽

0收藏

PymuPDF4llm：大型語言模型的高效PDF數據處理利器。

PymuPDF4llm是專為大型語言模型設計的強大工具，能夠將雜亂的PDF數據整理得井井有條，為你的AI項目提供有力支持。本文將帶你深入了解PymuPDF4llm的功能和應用。

1、從LamaParse到Pymupdf4llm

過去，我們經常遇到PDF提取工具操作復雜、結果不準確的問題。LamaParse曾試圖簡化這一過程，但其免費資源消耗速度極快。

現在，Pymupdf4llm作為一個開源工具，免費且專為大型語言模型定制，使我們可以放棄那些昂貴的訂閱服務，轉向開源軟件的自由和靈活性。

2、Pymupdf4llm：打造整潔數據的新利器

大型語言模型（LLMs）對數據的整潔度有著極高的要求，它們需要那些結構化、條理清晰的信息來發揮最佳效果。

Pymupdf4llm正是為此而生，能夠將原始PDF中的圖像、文本和表格等雜亂無章的數據，轉化為易于理解和處理的結構化信息，讓你的LLMs大放異彩。

3、體驗Pymupdf4llm的強大功能

3.1 安裝

安裝Pymupdf4llm非常簡單，只需一行代碼：

pip install pymupdf4llm

3.2 導入：啟動Pymupdf4llm

導入Pymupdf4llm庫，準備進行PDF提取：

import pymupdf4llm

3.3 提取文本：化繁為簡

假設有一個名為“input.pdf”的文件，我們想要從中提取文本。使用Pymupdf4llm，這就非常簡單：

md_text = pymupdf4llm.to_markdown("input.pdf")
print(md_text)

就這樣，Pymupdf4llm已經將PDF中的所有文本提取出來，并以清晰的Markdown格式展示。

如果想將Markdown文件保存為UTF8編碼的文件，可以這樣做：

import pathlib

output_file = pathlib.Path("output.md")
output_file.write_bytes(md_text.encode())

簡單幾步，我們就得到了一個格式優美的Markdown文件，包含PDF中的所有文本。

4、深入挖掘：Pymupdf4llm的全面能力

Pymupdf4llm不只是提取文本那么簡單，還能處理表格、圖像，甚至是復雜的文檔結構。下面來看看它的一些核心功能：

4.1 表格提取

Pymupdf4llm能夠輕松提取PDF中的表格，并將其轉換為LLM易于處理的結構化數據。你還可以指定輸出格式，無論是CSV、JSON還是其他自定義格式。

md_text_tables = pymupdf4llm.to_markdown(
    doc="input_tables.pdf"
)


md_text_tables

4.2 圖像提取

Pymupdf4llm還能從PDF中提取圖像，供你在LLM分析或AI項目中使用。你可以選擇輸出圖像的格式，如PNG、JPG或GIF。

md_text_images = pymupdf4llm.to_markdown(
    doc="input_images.pdf",
    pages=[0, 2],
    page_chunks=True,
    write_images=True,
    image_path="images",
    image_format="png",
    dpi=300
)

4.3 文檔結構

Pymupdf4llm能夠分析復雜PDF的結構，識別出標題、段落等元素，幫助你更高效地提取信息，并為LLM創建定制化的數據結構。

md_text_words = pymupdf4llm.to_markdown(
    doc="input.pdf",
    pages=[0, 1, 2],
    page_chunks=True,
    write_images=True,
    image_path="images",
    image_format="png",
    dpi=300,
    extract_words=True
)