RAG文檔處理的流程——給你的RAG文檔處理制定一個(gè)標(biāo)準(zhǔn) 原創(chuàng)

AI探索時(shí)代

發(fā)布于 2025-9-10 08:43

瀏覽

0收藏

“ 文檔處理有一套標(biāo)準(zhǔn)和規(guī)范，良好的規(guī)范才能讓后續(xù)處理更簡單，更少出錯(cuò)。”

最近一直在優(yōu)化RAG的文檔處理功能，隨著各種問題被解決之后，慢慢發(fā)現(xiàn)文檔處理沒有想象中的那么簡單；而我們大部分人對文檔處理還僅僅只停留在表面上，并沒有真正深入研究過文檔處理的流程，格式，規(guī)范。

今天作者就以自身這段時(shí)間的經(jīng)驗(yàn)來梳理一下文檔處理的具體流程，包括處理格式的選擇，文檔處理的步驟，以及一些注意事項(xiàng)等。

RAG之文檔處理

在一個(gè)RAG系統(tǒng)中，最重要也是最困難的兩個(gè)點(diǎn)就是文檔處理和數(shù)據(jù)召回；今天我們主要討論的就是第一步文檔處理。

文檔處理的目的，就是把各種格式的數(shù)據(jù)進(jìn)行分類，拆分，向量化之后用于相似度檢索。

文檔來源

因此，文檔處理的第一步就是文檔的收集，根據(jù)不同的業(yè)務(wù)場景文檔的來源也多種多樣，但主要包括以下幾個(gè)來源：

1. 來自于文本文檔包括word，pdf，ppt，excel，csv，txt等多種常見文本類型

2. 來自于數(shù)據(jù)庫，包括關(guān)系型數(shù)據(jù)庫，緩存數(shù)據(jù)，文檔數(shù)據(jù)庫等

3. 來自于網(wǎng)絡(luò)API接口等

總之，文檔來源可以是任何渠道，任何形式。

文檔格式統(tǒng)一

這里文檔格式的統(tǒng)一并不是來源文檔的格式，因?yàn)槲臋n的來源我們無法控制；所以，我們需要在拿到文檔之后，把它們處理成統(tǒng)一的格式，這樣才有利于后續(xù)處理

由于文檔來源和格式的復(fù)雜性，因此在具體的業(yè)務(wù)場景中我們需要把文檔格式進(jìn)行統(tǒng)一處理；比如說不論任何格式的文檔，最終都處理成markdown或html格式。

之所以選擇markdown和html格式，原因就在于其能層次結(jié)構(gòu)，且比較通用。

RAG文檔處理的流程——給你的RAG文檔處理制定一個(gè)標(biāo)準(zhǔn)-AI.x社區(qū)

如果不對文檔格式進(jìn)行統(tǒng)一會(huì)出現(xiàn)什么情況？

如果不對文檔格式進(jìn)行統(tǒng)一，那么面對多種復(fù)雜的文檔類型，那么我們就需要每一種都進(jìn)行處理；這樣會(huì)導(dǎo)致系統(tǒng)變得更復(fù)雜，并且后續(xù)在使用中也會(huì)面臨各種各樣的問題。

所以，在真正開始文檔處理之前我們一定要根據(jù)自己的業(yè)務(wù)選擇一個(gè)適合自己的文檔格式；否則面對各種類型的文檔格式，我們逐一處理會(huì)特別麻煩，而且不利于統(tǒng)一管理。

具體流程就是，不論拿到何種類型的文檔，我們通過手動(dòng)處理也好，格式轉(zhuǎn)換工具也好，自己寫轉(zhuǎn)換程序也好；最終都把它們轉(zhuǎn)換成我們指定的格式(markdown或html)；當(dāng)然，這里的markdown和html只是一種比較合適和通用的選擇，在不同的業(yè)務(wù)場景中也可以根據(jù)自己的需要選擇格式的文檔格式。

文檔拆分

由于文檔內(nèi)容長短不一，但為了提升召回率，因此對文檔進(jìn)行適當(dāng)?shù)慕厝∈且粋€(gè)比較好的選擇；以markdown為例，可以把word，pdf等根據(jù)段落和長度進(jìn)行切分，并且在切分時(shí)把文檔的名稱和段落標(biāo)題拼接到每段文檔中；而類似于excel這種格式的數(shù)據(jù)，可以把每行數(shù)據(jù)拼接成一個(gè)markdown文檔段。

RAG文檔處理的流程——給你的RAG文檔處理制定一個(gè)標(biāo)準(zhǔn)-AI.x社區(qū)