AI自給自足！用合成數(shù)據(jù)做訓練，效果比真實數(shù)據(jù)還好

2023-02-22 09:37:14

人工智能新聞

作者們分別從零樣本（zero-shot）、少樣本（few-shot）圖像分類、模型預訓練（pre-training）與遷移學習三個??進?了探討。

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

AI生成的圖像太逼真，為什么不能拿來訓練AI呢？

可別說，現(xiàn)在還真有人這么做了。

來自香港大學、牛津大學和字節(jié)跳動的幾名研究人員，決定嘗試一下能否使用高質(zhì)量AI合成圖片，來提升圖像分類模型的性能。

為了避免AI合成的圖像過于單一、或是質(zhì)量不穩(wěn)定，他們還提出了幾類提升數(shù)據(jù)多樣性和可靠性的方法，幫助AI合成更好的數(shù)據(jù)集（來喂給AI的同類doge）。

結(jié)果他們發(fā)現(xiàn)，不僅效果不錯，有的AI在訓練后，效果竟然比用真實數(shù)據(jù)訓練還要好！

目前這篇論文已經(jīng)被ICLR 2023收錄。

把AI生成的數(shù)據(jù)喂給AI

作者們分別從零樣本（zero-shot）、少樣本（few-shot）圖像分類、模型預訓練（pre-training）與遷移學習三個??進?了探討，并給出了提升數(shù)據(jù)多樣性與可靠性的方法。

零樣本圖像分類

零樣本（Zero-shot）圖像分類任務，指沒有任何?標類別的訓練圖?，只有對?標類別的描述。

作者們先是提出了一種名為語言增強（Language Enhancement，LE）的?法，用于增強合成數(shù)據(jù)多樣性。

具體來說，這種方法會給標簽“擴句”，如果原標簽是簡單的“飛機”，那么經(jīng)過“擴句”后的提示詞就會變成“一架盤旋在海灘和城市上空的白色飛機”。

隨后，還采用了一種叫做CLIP過濾器（CLIP Filter）的?法確保合成數(shù)據(jù)的可靠性，即過濾掉合成質(zhì)量不行的圖片，確保AI數(shù)據(jù)質(zhì)量過硬。?

在17個數(shù)據(jù)集上，相?此前效果最好的CLIP模型，相關(guān)??模型均獲得了顯著提升（4.31%/2.90%），展示了合成數(shù)據(jù)的有效性。

少樣本圖像分類

少樣本圖像（Few-shot）分類任務，通常僅有極少數(shù)量（1～16張）的?標類別圖?，與零樣本任務的區(qū)別是增加了類別與任務特定領(lǐng)域信息。

因此，作者們決定將域內(nèi)數(shù)據(jù)（in-domain）的知識?于圖像?成，即將少量的?標類別圖??于噪聲疊加的初始狀態(tài)（Real Guidance），進?步發(fā)揮?成模型的能?，從而進?步提升性能。

預訓練與遷移學習

模型預訓練（pre-training）任務，即將模型在?量數(shù)據(jù)上進?訓練，將訓練后的模型作為“起始點”，來幫助提升下游任務的性能。

作者們利?合成數(shù)據(jù)，對模型進?了預訓練，并對數(shù)據(jù)量、數(shù)據(jù)多樣性程度、預訓練模型結(jié)構(gòu)和預訓練?法進?了實驗研究。

最終發(fā)現(xiàn)：

?合成數(shù)據(jù)進?預訓練。已經(jīng)可以達到甚?超越?真實數(shù)據(jù)預訓練的效果。
?更?的數(shù)據(jù)量和數(shù)據(jù)多樣性的合成數(shù)據(jù)，可以獲得更好的預訓練效果。
從模型結(jié)構(gòu)和預訓練?法來看，ViT-based模型（相比convolutional-based模型）、?監(jiān)督?法（相比有監(jiān)督?法）會更適合合成數(shù)據(jù)下的預訓練。

論文認為，利??成模型產(chǎn)?的合成數(shù)據(jù)來幫助圖像分類任務是可行的，不過也存在?定的局限性。

例如，如何處理特定任務的domain gap和數(shù)據(jù)多樣性之間的trade-off，以及如何更有效地利?潛在?窮量的合成圖??于預訓練，都是需要進一步去解決的問題。

作者介紹

一作何睿飛，香港大學在讀博士生@CVMI Lab，指導老師為齊曉娟老師，本科畢業(yè)于浙江大學竺可楨學院，研究方向是data-efficient learning, vision-language model, knowledge distillation, semi/self-supervised learning。CVMI Lab 正在招收計算機視覺與深度學習方向的博士生，感興趣的伙伴可以直接email老師！

對于將AI合成圖像用于預訓練模型這件事，你還能想到更高效的方法嗎？

歡迎感興趣的小伙伴一起討論~

論文地址：
?https://arxiv.org/abs/2210.07574?

項目地址：
?https://github.com/CVMI-Lab/SyntheticData

責任編輯：張燕妮來源：量子位

AI 模型