?最近，谷歌又靠著強大的計算資源豪橫了一把，而且還順手捎上了一位Meta AI的朋友。

不得不說，這兩個「冤家」的合作可不多見。

論文鏈接：https://arxiv.org/abs/2203.05482

研究團隊提出了一種稱為「模型湯」的概念，通過在大型預訓練模型下使用不同的超參數配置進行微調，然后再把權重取平均。

實驗結果證明了，這種簡單的方法通常都能夠提升模型的準確率和穩健性。

一般來說，想獲得一個性能最佳的模型需要兩步：

1、使用不同的超參數訓練多個模型

2、選擇在驗證集上效果最好的模型

但這種方法產生的單個模型有一個致命缺陷：運氣成分很大，非常容易陷入局部最優點，導致性能并非全局最優。

所以另一個常用策略是模型集成（ensemble），但集成后的模型還是本質上還是多個模型，所以同一個輸入需要推理多次，推理成本更高。

而模型湯通過對模型權重進行平均，最后得到的是一個模型，則可以在不產生任何額外推理或內存成本的情況下提升性能。

當然了，你可能在想，模型方法這么簡單，怎么Google就敢把論文發出來？

Method部分只占了半頁，文章的通篇基本全是實驗，也就是說Google做了一件別人都沒做到的事：用大量的計算資源，做大量的實驗，來證明這個簡單的方法就是有效的。

并且模型還刷新了ImageNet 1K的新紀錄：90.94%。

所以對高校的研究人員來說，這篇文章可能沒有太大的學術價值，完全就是實驗科學。但對于有錢、有資源的大公司來說，性能強就夠了！

模型湯（Model Soup）名字的靈感來源可能來自「斐波那契例湯」，具體做法是把昨天的和前天剩下的湯加熱后混合，得到就是今天新鮮的「斐波那契例湯」。

模型湯把昨天的多個模型加熱一下，就成了今天新鮮的SOTA模型了。

新瓶裝舊酒

CV模型的常見開發模式就是：有計算資源的大公司把模型預訓練好，其他研究人員在這基礎上，針對自己特定的下游任務進行微調。

在單個模型的情況下，性能可能并非最優，所以另一個常用的提升性能方法就是集成（ensemble）：使用不同的超參數，訓練多個模型，然后將這些模型的輸出結果組合起來，比如用投票的方式，選出多個模型預測一致的結果作為最終輸出。

集成模型雖說可以提升模型的性能，但缺點也顯而易見：同一個輸入需要預測多次，推理性能顯著下降，必須得增大顯存、增加顯卡或者等待更長的推理時間。

Google提出將多個微調后的模型進行權重平均化，而非選擇在驗證集上達到最高精度的單個模型，最終產生的新模型就稱為模型湯。

因為正常訓練的時候也需要訓練多個模型，所以模型湯并沒有增加訓練成本。并且模型湯也是單模型，所以也沒有增加推理成本。

其實之前就有研究結果表明，沿著單一訓練軌跡（single training trajectory）的權重平均化能夠提高隨機初始化訓練模型的性能。

模型湯則是將權重平均化的有效性擴展到了微調的背景下。

權重平均化的策略也有很多，論文中給了3種常用的方法 ：均勻湯、貪婪湯、學習湯。

均勻湯（Uniform soup）最簡單，不同模型權重直接求平均即可。

貪婪湯則是通過依次添加模型作為湯中的潛在成分（potential ingredient）來構建的，只有當模型在預留的驗證集上的性能提高時，才將其留在模型湯中。

在運行算法之前，先按照驗證集準確性的遞減順序對模型進行排序，所以貪婪湯模型不會比驗證集上最好的單個模型差。

學習湯則是通過將各個模型在模型湯中的權重作為可學習的參數。

性能強就是王道

雖說模型湯的想法很簡單，但這篇論文的重點并非是方法，而是實驗。

在實驗部分，研究人員探索了在對各種模型進行微調時對模型湯的應用。微調的主要模型是CLIP和ALIGN模型，用圖像-文本對的對比監督進行預訓練，在JFT-3B上預訓練的ViT-G/14模型，以及文本分類的Transformer模型。實驗主要使用的是CLIP ViT-B/32模型。

微調是端到端的，也就是所有的參數都可修改，這種方式往往比只訓練最后的線性層有更高的準確性。

在微調之前，實驗采用兩種不同的方法來初始化最后的線性層。第一種方法是從線性探針（linear probe, LP）初始化模型。第二種方法使用zero-shot初始化，例如，使用CLIP或ALIGN的文本塔產生的分類器作為初始化。

微調使用的數據集為ImageNet。實驗中還對五個自然分布shift進行評估：ImageNetV2，ImageNet-R, ImageNet-Sketch, ObjectNet, 和ImageNet-A。

由于官方的ImageNet驗證集被用作測試集，因此實驗中使用大約2%的ImageNet訓練集作為構建貪婪的湯的保留驗證集。

實驗結果對比了湯的策略，可以看到貪婪湯需要更少的模型就能達到與在保留的驗證集上選擇最佳個體模型相同的精度。X軸為超參數隨機搜索中所考慮的模型數量，Y軸為各種模型選擇方法的準確率。所有的方法在推理過程中都需要相同數量的訓練和計算成本。

對于任何數量的模型，貪婪湯在ImageNet和分布外測試集上都優于最佳單一模型；貪婪湯在ImageNet上優于均勻湯，在分布外則與之相當。Logit集成在ImageNet上比貪婪湯好，但在分布外更差。

貪婪湯比ViT-G/14在JFT-3B上預訓練并在ImageNet上微調后得到的最好的單個模型在分布內和分布外的情況下的性能都有所提升。

為了測試通過模型湯獲得的模型性能提升是否可以擴展到圖像分類以外的領域，研究人員還對NLP任務進行了實驗。研究人員在四個文本分類任務上對BERT和T5模型進行了微調，這些任務來自于GLUE基準：MRPC，RTE，CoLA和SST-2。實驗結果雖然改進沒有圖像分類中那么明顯，但貪婪湯在許多情況下可以比最好的單模型性能更好。

有意義嗎？

大部分從事AI模型的研究人員看完論文的內心應該都是：就這？

論文一出，在知乎上也有論文的相關討論。

有網友表示，這種論文沒有意義，全靠資源堆砌，驗證了一個小idea罷了。之前的模型也有相似的idea，并且論文也缺乏對神經網絡的理論分析。

不過凡事都有兩面性，網友@昭昭不糟糟 則表示，sota只是論文的性能體現，文章大量的實驗產生的結論還是比較具有啟發性的，簡單有效即是好idea！

網友@戰斗系牧師 稱這是個極具谷歌風格的工作，思路不難想到，但Google勝在推理速度不變、且對問題的解釋也很到位，實驗充足（對于窮研究人員來說可能沒辦法復現）。確實有很多值得學習的地方。并且模型湯也更加環保，沒有把訓練后的模型直接扔掉，而是利用起來，不至于浪費電。

網友@西紅柿牛腩分析稱：「現在ImageNet刷榜的模型，10億參數不嫌少，100億參數不嫌多。而且Google、Facebook這些有錢的主，動不動就是1000塊顯卡起步，不但用Conv+Transformer，還用JFT-3B作弊。然而，要是用1000層的ResNet達到了91%的Top 1，那就是時代的進步了。」

最后還調侃說：「假如讓我刷到92% Top 1，半夜都會笑醒，一年的KPI都達到了。」