關于人工智能應用場景中前期數據處理的業(yè)務場景和技術分析——包括結構化數據和非結構化數據原創(chuàng)

發(fā)布于 2025-5-12 08:39

瀏覽

0收藏

“ 文檔處理是人工智能應用領域中的重要環(huán)節(jié)，其業(yè)務需求復雜，技術實現難度高；因此，怎么處理復雜文檔是每個技術人員都需要考慮的問題。”

文檔處理在當前人工智能行業(yè)下是一個非常基礎也非常重要的工作，不論是模型的訓練和微調，還是以RAG檢索增強，亦或者是在傳統(tǒng)的搜索引擎(包括百度，谷歌這種搜索引擎；以及電商等內部平臺的搜索需求)中都是必不可少的一個重要環(huán)節(jié)。

但面對復雜的文檔格式和類型，文檔處理的難度相當大；而且在不同的需求場景下，同樣格式和內容的文檔需要不同的處理方式；比如說在開放性問答場景和精確性的企業(yè)服務場景下，對文檔處理的要求和質量是不一樣的。

所以，今天我們就來討論一下文檔處理過程中存在的一些問題以及相對的解決方案和技術選型。

關于人工智能應用場景中前期數據處理的業(yè)務場景和技術分析——包括結構化數據和非結構化數據-AI.x社區(qū)

文檔處理

關于文檔處理我們需要從兩個方面進行考慮，一個是業(yè)務場景，另一個是技術實現。

業(yè)務場景

先說業(yè)務場景，文檔處理的業(yè)務場景有很多；上面所說的RAG，模型訓練，搜索引擎等都需要文檔處理；而在垂直領域，比如醫(yī)療，金融，法律等面對快速爆炸的知識密集場景中，文檔處理依然是很重要的一環(huán)。

特別是面對多年積累的大量歷史數據，怎么快速從這些歷史數據中找到關鍵信息；除了搜索算法和大模型的應用之外，文檔的前期處理是必不可少且非常重要的一環(huán)。

因為，對于未經過處理的數據，再強大的算法或模型都很難得到精確的查詢或檢索效果；所以，文檔處理的方式，以及處理結果的質量都會成為影響數據召回的重要因素。

關于人工智能應用場景中前期數據處理的業(yè)務場景和技術分析——包括結構化數據和非結構化數據-AI.x社區(qū)

技術實現

技術實現也需要從多個角度進行說明和分析，主要包括不同文檔的類型和技術實現兩個方面。

文檔類型

在文檔處理領域中，不同的文檔類型和內容需要使用不同的處理方式；當然，這里所說的文檔并不只是指我們常見的word,pdf,md等文檔，還包括數據庫文檔，網頁文檔，圖片，表格等多種文檔類型。

從形式來看，文檔的類型多種多樣，包括我們常見的office三件套，markdown文檔，csv，數據庫文檔，網頁，日志文件等。

但從技術的角度來看，不管什么形式的文檔，主要都是以下三種格式：

結構化數據
半結構化數據
非結構化數據

結構化數據主要包括excel，csv，數據庫文檔，xml文檔，日志文件等。

半結構化數據主要包括網頁，mongdb，email等這種有部分是結構化數據，而部分是非結構化數據；比如說網頁中的標簽,h1，li；email的收件人，發(fā)件人等。

非結構化數據就是更常見的數據類型了，比如word，pdf，ppt，md，txt等；特別是word，pdf，md這種支持富文本，表格圖片的文檔格式；由于其復雜的文檔結構，導致其在處理過程中會存在非常多的困難點；比如常見的文本，圖片，表格同時存在的項目文檔；以及充斥大量架構圖，結構圖和流程圖的PDF文檔等。

而在人工智能應用場景中，我們不但需要保證這些文檔內容的連續(xù)性(比如表格拆分的問題)，還需要保證其語義和結構性，比如目前對于存在大量結構圖和流程圖的文檔處理效果都不怎么好。

因此，面對這些復雜的文檔類型和內容，怎么進行有效性處理是很多企業(yè)和領域都需要思考和解決的問題。

技術方案

根據以上復雜的文檔類型，我們需要使用不同的數據處理方案；下面我們就以結構化，半結構化和非結構化這三種類型進行說明。

結構化數據

在這三種數據類型中，結構化數據是最好處理的一種數據格式；不論是數據庫，json數據，xml數據等；由于其有標準的格式，因此我們只需要根據其數據格式進行處理即可；而且由于計算機技術發(fā)展這些年，對這方面的數據處理技術已經非常成熟了。比如說python的pandas就非常適合處理數據庫，json和csv等格式的數據。