預訓練后性能反而變差，自訓練要取代預訓練了嗎？

作者：JocelynWang 2020-07-29 12:16:12

近期，谷歌大腦的研究團隊對這個概念進行了擴展，在新論文《Rethinking Pre-training and Self-training》中，不僅討論了預訓練，還研究了自訓練，比較了在同一組任務當中自訓練與監(jiān)督預訓練、自監(jiān)督預訓練之間的差異。

早在2018年底，F(xiàn)AIR的研究人員就發(fā)布了一篇名為《Rethinking ImageNet Pre-training》的論文，這篇論文隨后發(fā)表在ICCV2019。該論文提出了一些關(guān)于預訓練的非常有趣的結(jié)論。

[[335543]]

論文地址：https://arxiv.org/abs/2006.06882

作者通過實驗得出了以下結(jié)論：

如果預訓練任務和目標任務存在差異，則預訓練(包括監(jiān)督和自監(jiān)督)可能損害目標任務準確率;
自訓練適用不同規(guī)模數(shù)據(jù)集和不同強度增強數(shù)據(jù)的訓練;
自訓練并且可以看作對預訓練的補充，聯(lián)合預訓練和自訓練可以獲得更大的增益。

以下是機器學習研究工程師Aakash Nain對《Rethinking Pre-training and Self-training》這篇論文的解讀，文章發(fā)表在Medium上，AI科技評論對文章進行了編譯。

一、序言

在進一步探討論文細節(jié)之前，我們先了解一些術(shù)語。預訓練是運用在不同領(lǐng)域(例如計算機視覺、自然語言處理、語音處理)的一種非常普遍的做法。在計算機視覺任務中，我們通常使用在某個數(shù)據(jù)集上經(jīng)過預訓練并可直接運用到另一個數(shù)據(jù)集的模型。例如，利用ImageNet預訓練就是一種可廣泛運用到目標分割和目標檢測任務的初始化方法。為實現(xiàn)此目的，我們常使用遷移學習和微調(diào)這兩種技術(shù)。另一方面，自訓練也嘗試在訓練期間結(jié)合模型對未標記數(shù)據(jù)的預測結(jié)果，以獲得其他可用的信息來改善模型性能。例如，使用ImageNet來改進COCO目標檢測模型。首先在COCO數(shù)據(jù)集上訓練模型，然后將該模型用于生成ImageNet的偽標簽(我們將丟棄原始的ImageNet標簽)，最后將帶有偽標簽的ImageNet數(shù)據(jù)集和有標簽的COCO數(shù)據(jù)集結(jié)合來訓練一個新的模型。自監(jiān)督學習是另一種常用的預訓練方法。自監(jiān)督學習的目的不僅僅是學習高級特征。相反，我們希望模型學習的更好，有更好的魯棒性以適用于各種不同的任務和數(shù)據(jù)集。

二、研究動機

作者希望能解決以下問題：

預訓練對訓練結(jié)果有多大程度的幫助?
什么情況下使用預訓練是無效的?
與預訓練相比，我們可以使用自訓練并獲得相似或更好的結(jié)果嗎?
如果自訓練優(yōu)于預訓練(暫做這樣的假設(shè))，那它在多大的程度上比預訓練好?
在什么情況下自訓練比預訓練更好?
自訓練的靈活性和可擴展性如何?

三、設(shè)置

1、數(shù)據(jù)集和模型

目標檢測：作者使用COCO數(shù)據(jù)集(11.8萬張圖片 )進行監(jiān)督學習下的目標檢測訓練。ImageNet數(shù)據(jù)集(120萬張圖片 )和OpenImage數(shù)據(jù)集(170萬張圖片 )用作未標記的數(shù)據(jù)集。使用以EfficientNet - B7為主干網(wǎng)絡(luò)的RetinaNet目標檢測器。圖像的分辨率保持在640 x 640，金字塔等級為P3到P7，每個像素使用9個錨點。
語義分割：使用 PASCAL VOC 2012分割訓練集(1500張圖片)進行監(jiān)督學習下的語義分割訓練。對于自訓練，作者使用了增強的PASCAL圖像數(shù)據(jù)集(9000張圖片)，標記以及未標記的COCO(24萬張圖片)和ImageNet(120萬張圖片)數(shù)據(jù)集。使用以EfficientNet-B7和EfficientNet-L2為主干網(wǎng)絡(luò)的NAS-FPN模型。

2、數(shù)據(jù)增強

在所有實驗中都使用了四種不同強度的增強策略來進行檢測和分割。這四種策略按強度從低到高依次為：1)Augment-S1：這是標準“ 翻轉(zhuǎn)和裁剪”增強操作，包括水平翻轉(zhuǎn)和縮放裁剪。2)Augment-S2: 這包括論文《AutoAugment: Learning Augmentation Strategies from Data》中使用的AutoAugment，以及翻轉(zhuǎn)和裁剪。3)Augment-S3：它包括大規(guī)模縮放、AutoAugment、翻轉(zhuǎn)和裁剪。縮放范圍比Augment-S1:更大。4)Augment-S4: 結(jié)合論文《RandAugment: Practical automated data augmentation with a reduced search space》中提出的RandAugment，翻轉(zhuǎn)和裁剪，以及大規(guī)模縮放操作。此處的縮放等級與Augment-S2/S3相同。

3、預訓練

為了研究預訓練的有效性，作者使用了ImageNet預訓練的檢查點。使用EfficientNet-B7作為架構(gòu)用于評估，對此模型，設(shè)置了兩個不同的檢查點，如下所示：1)ImageNet：通過AutoAugment在檢查點上訓練EfficientNet-B7，在ImageNet上達到84.5%了的top-1準確率。2)ImageNet ++：采用論文《Self-training with Noisy Student improves ImageNet classification》中提出的Noisy Student方法在檢查點上訓練EfficientNet-B7，其中利用了額外3億張未標記的圖像，并達到了86.9%的top-1準確率。采用隨機初始化訓練的結(jié)果標記為Rand Init。

4、自訓練

自訓練是基于Noisy Student方法實現(xiàn)的，有三個步驟：

在標記的數(shù)據(jù)(例如COCO數(shù)據(jù)集)上訓練teacher model。
使用teacher model在未標記的數(shù)據(jù)(例如ImageNet數(shù)據(jù)集)上生成偽標記。
訓練一個student model，以聯(lián)合優(yōu)化人工標簽和偽標簽上的損失。

四、實驗

1、增強和標記數(shù)據(jù)集大小對預訓練的影響

作者使用ImageNet進行監(jiān)督預訓練，并改變帶標簽的COCO數(shù)據(jù)集大小以研究預訓練對結(jié)果的影響。實驗過程中，不僅會改變標記數(shù)據(jù)的大小，而且還使用不同增強強度的數(shù)據(jù)集，使用以EfficientNet-B7為主干網(wǎng)絡(luò)的RetinaNe模型來進行訓練。作者觀察到以下幾點：

使用高強度的數(shù)據(jù)增強時，監(jiān)督預訓練會損害性能：作者注意到，當他們使用如上所述的標準增強方法Augment-S1時，預訓練會對結(jié)果有所幫助。但是隨著增加增強的強度，預訓練并未對結(jié)果有太大幫助。實際上，他們觀察到，在使用最強的數(shù)據(jù)增強(Augment-S3)時，預訓練會嚴重損害性能。
更多帶標簽的數(shù)據(jù)會降低監(jiān)督預訓練的價值：這不是一個新發(fā)現(xiàn)。我們都知道，當數(shù)據(jù)量較小時，預訓練會對結(jié)果有所幫助。但是有足夠數(shù)量的標記數(shù)據(jù)時，從頭開始訓練也不會得到很差的結(jié)果。作者發(fā)現(xiàn)了相同的結(jié)論，這一觀點與FAIR的論文《Rethinking ImageNet Pre-training》相一致。

我的看法：在ImageNet上訓練的大多數(shù)模型都沒有使用很高強度的增強方法。高強度增強數(shù)據(jù)后，模型可能無法正確收斂。實際上，模型有時可能會對增強過擬合，當然這還需要進行適當?shù)募毠?jié)研究。

2、增強和標記數(shù)據(jù)集大小對自訓練的影響

作者使用相同的模型(使用帶有EfficientNet-B7主干的RetinaNet檢測器)和相同的任務(COCO數(shù)據(jù)集目標檢測)來研究自訓練的影響。作者使用ImageNet數(shù)據(jù)集進行自訓練(這種情況下將丟棄ImageNet的原始標簽)。作者觀察到以下幾點：

即使預訓練對結(jié)果產(chǎn)生了負面影響，自訓練也有助于大規(guī)模數(shù)據(jù)集和高強度增強的情況：作者發(fā)現(xiàn)，當使用大量數(shù)據(jù)增強時將自訓練應用到隨機初始化模型中，這樣不僅可以提高基線結(jié)果，并且超過了同情況下預訓練的結(jié)果。該實驗結(jié)果如下：

自訓練適用于各種不同大小的數(shù)據(jù)集，并且可以看作對預訓練的補充：作者發(fā)現(xiàn)自訓練另一個有趣的方面是，它可以作為預訓練的補充。簡而言之，當將自訓練與隨機初始化模型或預訓練模型結(jié)合使用時，它始終可以提高性能。在不同數(shù)據(jù)大小下，性能增益是一致的。

但，使用ImageNet ++ 預訓練時，與使用隨機初始化和ImageNet預訓練相比，增益相對更小。這有什么具體原因嗎?是的，ImageNet ++初始化是從檢查點獲得的，在該檢查點使用了另外3億張未標記的圖像。

3、自監(jiān)督預訓練 vs 自訓練

有監(jiān)督的 ImageNet預訓練會損害最大規(guī)模數(shù)據(jù)集和高強度數(shù)據(jù)增強下的訓練效果。但是自監(jiān)督的預訓練呢?自監(jiān)督學習(不帶標簽的預訓練)的主要目標是構(gòu)建一種通用的表征，這種表征可以遷移到更多類型的任務和數(shù)據(jù)集中。為研究自監(jiān)督學習的效果，作者使用了完整的COCO數(shù)據(jù)集和最高強度的增強。目的是將隨機初始化與使用了SOTA自監(jiān)督算法預訓練的模型進行比較。在實驗中使用SimCLR的檢查點，然后在ImageNet上對其進行微調(diào)。由于SimCLR僅使用ResNet-50，因此RetinaNet檢測器的主干網(wǎng)絡(luò)用ResNet-50替換。結(jié)果如下：

在這種情況下，我們觀察到自監(jiān)督下的預訓練會損害訓練效果，但自訓練仍可以提高性能。

五、學到了什么?

1、預訓練和通用的特征表征

我們看到，預訓練(監(jiān)督以及自監(jiān)督)并不總可以給結(jié)果帶來更好的效果。實際上，與自訓練相比，預訓練總是表現(xiàn)不佳。這是為什么?為什么ImageNet預訓練的模型對COCO數(shù)據(jù)集的目標檢測效果反而不好?為什么通過自監(jiān)督預訓練學習表征無法提高性能?預訓練并不能理解當下的任務，并可能無法適應。分類問題比目標檢測問題容易得多。在分類任務上預訓練的網(wǎng)絡(luò)是否可以獲得目標檢測任務所需要的所有信息?用我喜歡的表達方式來說：即使這些任務只是彼此的子集，不同的任務也需要不同級別的粒度。

2、聯(lián)合訓練

正如作者所言，自訓練范式的優(yōu)勢之一是它可以聯(lián)合監(jiān)督和自訓練目標進行訓練，從而解決它們之間不匹配的問題。為了解決任務間由于差異導致的不匹配問題呢，我們也可以考慮聯(lián)合訓練的方法，例如聯(lián)合訓練ImageNet和COCO這兩個數(shù)據(jù)集?作者在實驗中使用了與自訓練相同的參數(shù)設(shè)置，發(fā)現(xiàn)ImageNet的預訓練可獲得+ 2.6AP的增益，但使用隨機初始化和聯(lián)合訓練可獲得+ 2.9AP的更大增益。而且，預訓練、聯(lián)合訓練和自訓練都是加性的。使用相同的ImageNet數(shù)據(jù)集，ImageNet的預訓練獲得+ 2.6AP的增益，預訓練+聯(lián)合訓練再獲得+ 0.7AP的增益，而預訓練+聯(lián)合訓練+自訓練則獲得+ 3.3AP的增益。

3、任務調(diào)整的重要性

正如我們在上文所見，任務調(diào)整對于提高性能非常重要。論文《Objects365: A Large-scale, High-quality Dataset for Object Detection》指出了類似的發(fā)現(xiàn)，在Open Images數(shù)據(jù)集上進行預訓練會損害COCO的性能，盡管兩者都帶有邊框標記。這意味著，我們不僅希望任務是相同的，而且標記最好也是相同的，以使預訓練對結(jié)果真正帶來益處。同時，作者指出了另外兩個有趣的現(xiàn)象：

ImageNet的預訓練模型，即使帶有額外的人工標簽，其效果也比自訓練差。
借助高強度的數(shù)據(jù)增強方法(Augment-S4)，使用PASCAL(訓練+ 增強數(shù)據(jù)集)進行訓練實際上會損害準確率。同時，通過對同一數(shù)據(jù)集進行自訓練而生成的偽標簽可提高準確性。

4、自訓練的可擴展性、通用性和靈活性

從作者進行的所有實驗中，我們可以得出以下結(jié)論：

在靈活性方面，自訓練在每種條件設(shè)置下均能很好地發(fā)揮作用，無論是少數(shù)據(jù)狀態(tài)、多數(shù)據(jù)狀態(tài)、弱數(shù)據(jù)增強還是強數(shù)據(jù)增強。
自訓練不依賴于模型架構(gòu)也不依賴于數(shù)據(jù)集。它可以與ResNets、EfficientNets、SpineNet等不同架構(gòu)以及ImageNet、COCO、PASCAL等不同數(shù)據(jù)集很好地結(jié)合使用。
一般意義上來看，無論預訓練是失敗還是成功，自訓練效果都是很好的。

在可擴展性方面，當我們擁有更多帶標簽的數(shù)據(jù)和更好的模型時，自訓練被證明表現(xiàn)良好。

5、自訓練的局限性

盡管自訓練可以帶來好處，但它也有一些局限性：

與在預訓練模型上進行微調(diào)相比，自訓練需要消耗更多的計算量。
預訓練的加速范圍是1.3倍至8倍，具體取決于預訓練模型的質(zhì)量、數(shù)據(jù)增強的強度和數(shù)據(jù)集的大小。
自訓練并不能完全替代遷移學習和微調(diào)，這兩種技術(shù)將來也會被大量使用。

六、總結(jié)

《Rethinking Pre-training and Self-training》這篇論文提出了很多有關(guān)預訓練、聯(lián)合訓練、任務調(diào)整和普遍表征的基本問題。解決這些問題比建立具有數(shù)十億參數(shù)的模型更為重要，可以幫助我們獲得更好的直覺，以了解深度神經(jīng)網(wǎng)絡(luò)做出的決策。

責任編輯：未麗燕來源：雷鋒網(wǎng)

預訓練自訓練神經(jīng)網(wǎng)絡(luò)