[[426899]]

隨著神經網絡模型和訓練數據規模的增長，訓練效率正成為深度學習的一個重要焦點。

GPT-3 在小樣本學習中表現出卓越的能力，但它需要使用數千個 GPU 進行數周的訓練，因此很難重新訓練或改進。

相反，如果可以設計出更小、更快、但更準確的神經網絡會怎樣？

Google 就提出了兩類通過神經架構和基于模型容量和泛化性的原則性設計方法（principled design methodology）得到的神經網絡模型用來圖像識別。

第一個是ICML 2021上提出的EfficientNetV2，主要由卷積神經網絡組成，旨在為相對較小的數據集（如ImageNet1k，有128萬張圖像）提供更快的訓練速度。

EfficientNet V2基于以前的EfficientNet架構，為了改進原有的方法，Google 研究團隊系統地研究了現代模型TPU/GPU上的訓練速度瓶頸，有幾個發現：

1、使用非常大的圖像進行訓練會導致更高的內存使用率，從而導致TPU/GPU上的訓練速度通常較慢；

2、廣泛使用的深度卷積在TPU/GPU上效率低下，因為它們的硬件利用率較低；

3、常用的uniform compound scaling將卷積網絡的每個階段平均放大，但這并不是最優方法。

為了解決這些問題，研究人員提出了一種面向訓練感知的神經架構搜索（train-aware NAS），其中訓練速度也包含在優化目標中，并且使用一種以非均勻方式在不同階段進行縮放，模型代碼也已開源。

文章的第一作者是Mingxing Tan，

訓練感知 NAS 的架構基于之前的平臺感知 platform-aware NAS，但與原方法主要關注推理速度不同，訓練感知 NAS 同時優化模型精度、模型大小和訓練速度。

模型還擴展了原始搜索空間以包含更多對加速器有利的操作，例如 FusedMBConv 通過刪除不必要的操作（例如 平均池化和最大池化）來簡化搜索空間。

由此產生的 EfficientNetV2 網絡在所有以前的模型上都實現了更高的準確性，同時速度更快，體積縮小了 6.8 倍。

為了進一步加快訓練過程，研究人員還提出了一種增強的漸進學習方法（progressive learning），該方法在訓練過程中逐漸改變圖像大小和正則化幅度。

漸進式訓練已用于圖像分類、GANs和語言模型，并取得了不錯的效果。該方法側重于圖像分類，但與以前的方法不同的是，之前的方法通常以精度換取更高的訓練速度，它可以略微提高精度，同時顯著減少訓練時間。

改進方法的關鍵思想是根據圖像大小自適應地改變正則化強度，如dropout 的概率或數據增強程度。對于相同的網絡，較小的圖像大小導致網絡容量較低，因此需要弱正則化；反之亦然，較大的圖像大小需要更強的正則化來防止過度擬合。

在 ImageNet 和一些遷移學習數據集上，例如 CIFAR-10/100、Flowers 和 Cars 來評估 EfficientNetV2 模型。在 ImageNet 上，EfficientNetV2 顯著優于以前的模型，訓練速度提高了約 5-11 倍，模型尺寸縮小了 6.8 倍，準確率沒有任何下降。

第二類是CoAtNet，一種結合了卷積和自注意的混合模型，其目標是在大規模數據集上實現更高的精度，如ImageNet21（有1300萬張圖像）和JFT（有數十億張圖像）。

雖然EfficientNetV2仍然是一個典型的卷積神經網絡，但最近對視覺Transformer（visual Transformer, ViT）的研究表明，基于注意的Transfomer 模型在JFT-300M等大規模數據集上的性能優于卷積神經網絡。

受這一觀察結果的啟發，研究人員進一步將研究范圍擴展到卷積神經網絡之外，以期找到更快、更準確的視覺模型。

研究者系統地研究如何結合卷積和自注意力來開發用于大規模圖像識別的快速準確的神經網絡。工作結果基于一個觀察結論，即卷積由于其歸納偏差（inductive bias）通常具有更好的泛化能力（即訓練和評估之間的性能差距），而自注意力Transformer由于其對全局建模的能力更強，所以往往具有更強大的概括能力（即適應大規模訓練的能力） 。

通過結合卷積和自注意力，得到的混合模型可以實現更好的泛化和更大的容量。

深度卷積和自注意力可以通過簡單的相對注意力自然地統一起來，并且垂直堆疊卷積層和注意力層，可以同時考慮到每個階段所需的容量和計算能力，從而提高泛化性、容量和效率。

在 CoAtNet 架構中，給定大小為 HxW 的輸入圖像，首先在第一個stem階段 (S0) 應用卷積并將大小減小到 H/2 x W/2。尺寸隨著每個階段繼續減小。Ln 是指層數。前兩個階段（S1和S2）主要采用深度卷積組成的MBConv構建塊。后兩個階段（S3和S4）主要采用具有relative self-attention的Transformer塊。與之前 ViT 中的 Transformer 塊不同，這里使用階段之間的池化，類似于 Funnel Transformer。最后，我們分類頭來生成類別預測概率。

CoAtNet 模型在許多數據集（例如 ImageNet1K、ImageNet21K 和 JFT）中始終優于 ViT 模型及其變體。與卷積網絡相比，CoAtNet 在小規模數據集 (ImageNet1K) 上表現出相當的性能，并且隨著數據大小的增加（例如在 ImageNet21K 和 JFT 上）取得了可觀的收益。

研究人員還在大規模 JFT 數據集上評估了 CoAtNets。為了達到類似的準確度目標，CoAtNet 的訓練速度比以前的 ViT 模型快 4 倍，更重要的是，在 ImageNet 上達到了 90.88% 的新的最先進的 top-1 準確度。

與以前的結果相比，新提出的模型速度快了4-10倍，同時在完善的ImageNet數據集上實現了最先進的90.88%top-1精度。