為了幫助研究者自動、高效地開發最佳機器學習模型，谷歌開源了一個不針對特定領域的 AutoML 平臺。該平臺基于 TensorFlow 構建，非常靈活，既可以找出最適合給定數據集和問題的架構，也能夠最小化編程時間和計算資源。

神經網絡的成功通常取決于在多種任務上的泛化性能。然而，設計此類神經網絡很有難度，因為研究社區對神經網絡如何泛化仍沒有充分的了解：對于給定問題，什么樣的神經網絡是適合的？深度如何？應該使用哪種層？LSTM 層就可以了，還是使用 Transformer 更好一些？抑或將二者結合？集成或蒸餾會提升模型性能嗎？

近年來出現的 AutoML 算法可以幫助研究者自動找出合適的神經網絡，無需手動試驗。神經架構搜索 (NAS) 等技術利用強化學習、進化算法和組合搜索等算法，基于給定搜索空間構建神經網絡。在恰當的設置下，這些技術找到的神經網絡架構優于手動設計的網絡架構。不過，這些算法計算量較大，在收斂前需要訓練數千個模型。而且，它們探索的搜索空間是域特定的，包括大量先驗人類知識，無法很好地實現跨域遷移。例如，在圖像分類領域中，傳統 NAS 技術搜索兩個不錯的構造塊（卷積和下采樣），然后遵循慣例創建完整的網絡。

為了克服這些缺陷，并將 AutoML 解決方案擴展到更廣泛的研究社區，最近谷歌開源了一個自動、高效構建最優 ML 模型的平臺 Model Search。該平臺不針對某個特定域，因而足夠靈活，并且能夠找出最適合給定數據集和問題的架構，同時最小化編程時間和計算資源。該平臺基于 TensorFlow 框架構建，既可以單機運行，也可以在分布式機器設置上運行。

GitHub 地址：https://github.com/google/model_search

Model Search 平臺概述

Model Search 系統包含多個訓練器、一種搜索算法、一種遷移學習算法和一個存儲多種評估模型的數據庫。該系統能夠以自適應和異步的方式運行多種機器學習模型（采用不同架構和訓練方法）的訓練和評估實驗。當每個訓練器單獨執行訓練時，所有訓練器共享從實驗中獲得的知識。

在每個輪次開始時，搜索算法查找所有已完成的試驗，并使用集束搜索（beam search）來決定接下來要嘗試的部分。之后，該搜索算法在目前發現的最佳架構之一上調用突變，并將生成的模型分配回訓練器。

Model Search 示意圖，展示了分布式搜索和集成過程。

該系統使用一組預定義的塊來構建神經網絡模型，其中每個塊代表了一種已知的微架構，如 LSTM、ResNet 或 Transformer 層。通過使用這些預先存在的架構組件，Model Search 可以利用跨領域 NAS 研究中現有的最佳知識。這種方法更加高效，因為它探索的是結構，而非更基礎和更細化的組件，從而降低了搜索空間的規模。

各種神經網絡微架構塊都能運行良好，如 ResNet 塊。

此外，由于 Model Search 框架基于 TensorFlow 構建，因而各個塊可以實現任意以張量作為輸入的函數。例如，如果我們想要提出一種基于一系列微架構構建的新搜索空間，那么 Model Search 框架會吸收新定義的塊并將它們合并至搜索過程，從而確保算法可以根據所提供的組件構建最佳的神經網絡。這里的構建塊甚至可以是能夠解決某些特定問題的完全定義神經網絡。在這種情況下，Model Search 可以作為一種強大的集成機器。

Model Search 中實現的搜索算法具有自適應性、貪婪性和增量性，因此這些算法的收斂速度快于強化學習算法。但是，這些算法也會模擬強化學習算法中的「探索與利用」（explore and exploit）特性，具體操作是首先分離搜索找出優秀的候選對象（即探索步驟），然后通過集成這些發現的候選對象來提升準確率（即利用步驟）。

在對架構或訓練方法做出隨機變更之后（如增加架構的深度），主搜索算法做出自適應修改，執行效果最好的 k 項實驗之一（其中 k 由用戶指定）。

網絡在多個實驗中不斷演化的動態展示圖。

為了進一步提升效率與準確率，不同內部實驗之間也可以使用遷移學習。Model Search 以兩種方式實現遷移學習，分別是知識蒸餾和權重共享。知識蒸餾通過添加一個與高效模型的預測相匹配的損失項，提升候選對象的準確率。權重共享則通過復制先前訓練模型中的適當權重并隨機初始化其余權重，從先前訓練的候選對象中（經過突變）bootstrap 一些參數。這種方式不僅可以加速訓練過程，還有可能發現更多更好的架構。

實驗結果

Model Search 用最少的迭代次數來改進生產模型。谷歌研究者在近期一篇論文《Improving Keyword Spotting and Language Identification via Neural Architecture Search at Scale》中展示了 Model Search 在語音領域的性能，它能夠發現關鍵詞檢測與語言識別模型。只用了不到 200 次的迭代，Model Search 得到的模型就優于專家設計的內部 SOTA 生產模型，并且前者的訓練參數少了大約 13 萬個（184K 參數 vs. 315K 參數）。

Model Search 經過給定迭代次數后得到的模型準確率與之前的關鍵詞檢測生產模型性能對比。

谷歌研究者還使用 Model Search，在 CIFAR-10 圖像數據集上尋找適合的圖像分類架構。使用一組已知卷積塊（包括卷積、resnet 模塊、NAS-A 單元、全連接層等）后，Model Search 能夠在 209 次試驗（即只探索了 209 個模型）后快速實現基準準確率——91.83。而之前的頂級架構達到相同準確率需要的試驗次數要多得多，例如 NASNet 算法需要 5807 次試驗，PNAS 需要 1160 次試驗。

目前，Model Search 的代碼已開源，研究者可以使用這個靈活、不受領域限制的框架發現 ML 模型。