多模態(tài)大模型數(shù)據(jù)構(gòu)造方法 原創(chuàng)
?本文將以LLaVA和MiniGPT-4為例介紹多模態(tài)大模型數(shù)據(jù)構(gòu)造的方式。
數(shù)據(jù)質(zhì)量是決定多模態(tài)模型性能的關(guān)鍵因素。高質(zhì)量的數(shù)據(jù)能夠減少噪聲干擾，提高模型的學(xué)習(xí)和預(yù)測(cè)準(zhǔn)確性。同時(shí)多模態(tài)數(shù)據(jù)的多樣性直接影響模型的泛化能力。一個(gè)包含豐富多樣數(shù)據(jù)的集合能夠訓(xùn)練出更加健壯的模型，使其能夠在不同的應(yīng)用場(chǎng)景中表現(xiàn)良好。
本文以LLaVA和MiniGPT-4為例，介紹相關(guān)多模態(tài)數(shù)據(jù)的構(gòu)造過(guò)程，給大家在訓(xùn)練或者微調(diào)自己的多模態(tài)模型提供思路。
LLava數(shù)據(jù)構(gòu)造
LLaVA利用圖文對(duì)創(chuàng)建了兩個(gè)數(shù)據(jù)集：簡(jiǎn)單的對(duì)話數(shù)據(jù)集(低質(zhì)量，數(shù)據(jù)量大，標(biāo)注成本低)，復(fù)雜的對(duì)話數(shù)據(jù)集(高質(zhì)量，數(shù)據(jù)量小，標(biāo)注成本高)。
- 簡(jiǎn)單的圖文對(duì)對(duì)話數(shù)據(jù)。首先利用已有的圖文對(duì)數(shù)據(jù)集（圖片+對(duì)應(yīng)描述caption），然后利用ChatGPT生成不同的提問(wèn)方式（描述該圖），并將caption作為問(wèn)題的答案：
"Describe the image concisely."
"Provide a brief description of the given image."
"Offer a succinct explanation of the picture presented."
"Summarize the visual content of the image."
"Give a short and clear explanation of the subsequent image."
"Share a concise interpretation of the image provided."
"Present a compact description of the photo’s key features."
"Relay a brief, clear account of the picture shown."
"Render a clear and concise summary of the photo."
"Write a terse but informative summary of the picture."
"Create a compact narrative representing the image presented."- 更復(fù)雜的圖文對(duì)對(duì)話數(shù)據(jù)。為了生成多輪對(duì)話數(shù)據(jù)并提高訓(xùn)練數(shù)據(jù)的多樣性。為了使用ChatGPT成帶圖片的多輪對(duì)話數(shù)據(jù)，作者使用目標(biāo)檢測(cè)將圖片變成ChatGPT可以讀懂的圖片描述，如下圖所示，更定更加精確的坐標(biāo)信息等：
MiniGPT-4數(shù)據(jù)構(gòu)造
MiniGPT-4細(xì)致構(gòu)建了一個(gè)專為對(duì)齊任務(wù)設(shè)計(jì)的優(yōu)質(zhì)圖像與文本數(shù)據(jù)集，以微調(diào)MiniGPT-4模型。在第一階段，圖像與文本的初始對(duì)齊是通過(guò)使用第一個(gè)預(yù)訓(xùn)練階段得到的模型來(lái)完成的，該模型能夠?yàn)榻o定的圖像生成詳盡的描述。
首先設(shè)置了一個(gè)通用的問(wèn)答對(duì)話模版：
###Human: <Img><ImageFeature></Img> Describe this image in detail. Give as many details as possible. Say everything you see. ###Assistant:其中，<ImageFeature>是指由線性投影層產(chǎn)生的視覺(jué)特征。為了識(shí)別不完整的句子，檢查生成的句子是否超過(guò)80個(gè)tokens。如果沒(méi)有，會(huì)添加一個(gè)額外的提示：
###Human: Continue ###Assistant:此外，由于生成的圖像描述中存在諸多問(wèn)題，如噪聲較多、錯(cuò)誤頻出（包括單詞或句子的重復(fù)）以及陳述不連貫等，為了解決這些問(wèn)題，我們采用了ChatGPT，并借助特定的提示來(lái)優(yōu)化和完善這些描述。
修正給定段落中的錯(cuò)誤。刪除任何重復(fù)的句子、無(wú)意義的字符、非英語(yǔ)句子等等。刪除不必要的重復(fù)。重寫任何不完整的句子。直接返回結(jié)果，無(wú)需解釋。如果輸入的段落已經(jīng)正確，則直接返回該段落，無(wú)需解釋。
Fix the error in the given paragraph. Remove any repeating sentences, meaningless characters, not English sentences, and so on. Remove unnecessary repetition. Rewrite any incomplete sentences. Return directly the results without explanation. Return directly the input paragraph if it is already correct without explanation.在上述后處理步驟完成后，要對(duì)每張圖像的描述進(jìn)行細(xì)致人工審核，以確保其達(dá)到高標(biāo)準(zhǔn)的質(zhì)量。具體而言，逐個(gè)檢查生成的圖像描述是否符合預(yù)期的格式，并對(duì)ChatGPT未能識(shí)別的冗余詞匯或句子進(jìn)行了手動(dòng)編輯和潤(rùn)色，即可用來(lái)進(jìn)行第一階段的訓(xùn)練。
在第二階段微調(diào)時(shí)，使用以下模板中預(yù)定義的提示：
###Human: <Img><ImageFeature></Img> <Instruction> ###Assistant:在此提示中，<Instruction>表示從預(yù)定義的指令集中隨機(jī)采樣的指令，其中包含各種形式的指令，如“詳細(xì)描述此圖像”或“您能為我描述此圖像的內(nèi)容嗎”。
?
文轉(zhuǎn)載自公眾號(hào)瓦力算法學(xué)研所，作者：喜歡瓦力的卷卷
