十個(gè)用于 AutoML 的 GitHub 存儲(chǔ)庫(kù)
人工智能和機(jī)器學(xué)習(xí)的突破是過(guò)去二十年中最激動(dòng)人心的兩個(gè)話題。機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)工程師需要廣泛的研究和努力工作才能有效地理解和運(yùn)行他們的模型。
雖然它們可能因人而異，但傳統(tǒng)的機(jī)器學(xué)習(xí)步驟包括：
- 數(shù)據(jù)采集
- 數(shù)據(jù)探索
- 數(shù)據(jù)準(zhǔn)備
- 特征工程
- 選型
- 模型訓(xùn)練
- 超參數(shù)調(diào)整
- 預(yù)測(cè)
雖然 8 個(gè)步驟在構(gòu)建機(jī)器學(xué)習(xí)模型時(shí)可能看起來(lái)并不多，但從上面的步驟開(kāi)始需要相當(dāng)長(zhǎng)的時(shí)間才能完善！
當(dāng)非專(zhuān)業(yè)的機(jī)器學(xué)習(xí)從業(yè)者第一次經(jīng)歷這些步驟時(shí)，問(wèn)題會(huì)更加嚴(yán)重；該過(guò)程通常需要更多時(shí)間和資源才能完成，即使如此，最終結(jié)果也可能與預(yù)期不符。
AutoML 通過(guò)為專(zhuān)家和非專(zhuān)家等人自動(dòng)執(zhí)行大部分模型創(chuàng)建過(guò)程而派上用場(chǎng)。
什么是自動(dòng)機(jī)器學(xué)習(xí) (AutoML)？
自動(dòng)化機(jī)器學(xué)習(xí)，通常稱為 AutoML，使機(jī)器學(xué)習(xí)變得更容易。AutoML 使用由給定框架完成的自動(dòng)處理，使非機(jī)器學(xué)習(xí)專(zhuān)家更容易使用機(jī)器學(xué)習(xí)。
它專(zhuān)注于加速人工智能的研究和提高機(jī)器學(xué)習(xí)模型的效率。
傳統(tǒng)的機(jī)器學(xué)習(xí)過(guò)程側(cè)重于前面提到的所有 8 個(gè)步驟，而 AutoML 涵蓋兩個(gè)步驟：
- 數(shù)據(jù)采集是在將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)之前收集、過(guò)濾和清理所用數(shù)據(jù)的過(guò)程。
- 預(yù)測(cè)是指給定模型返回的實(shí)際輸出，訓(xùn)練有素的模型很可能會(huì)返回準(zhǔn)確的最終預(yù)測(cè)。
數(shù)據(jù)探索、 數(shù)據(jù)準(zhǔn)備、特征工程、模型選擇、模型訓(xùn)練和 最終模型調(diào)整的框架將涵蓋其他 6 個(gè)步驟。
AutoML 的優(yōu)勢(shì)
- 提高工作效率
- 更好的最終結(jié)果
- 最小化錯(cuò)誤
- 擴(kuò)展機(jī)器學(xué)習(xí)
AutoML 流行框架
既然我們已經(jīng)討論了什么是 AutoML 并了解了它的一些優(yōu)勢(shì)，我們將介紹 10 大 AutoML 框架、在哪里可以找到它們以及它們提供的功能。
1. 谷歌自動(dòng)機(jī)器學(xué)習(xí)
Google AutoML是最著名的可用框架之一，在我們的列表中排名第一。谷歌已經(jīng)推出了許多 AutoML 框架，例如 Google AutoML vision、Google AutoML Natural Language 等。
2. 自動(dòng) SKLearn
之前接觸過(guò)機(jī)器學(xué)習(xí)的用戶可能對(duì) SKlearn 這個(gè)名字并不陌生。作為流行的sci-kit-learn 庫(kù)的附加組件，Auto SKLearn 是一個(gè)開(kāi)源機(jī)器學(xué)習(xí)框架，可處理機(jī)器學(xué)習(xí)任務(wù)的自動(dòng)化。
Auto Sklearn 框架能夠執(zhí)行其模型選擇、超參數(shù)調(diào)整和表征，這是 Auto SKlearn 框架的一個(gè)獨(dú)特功能。
通過(guò)執(zhí)行模型選擇，Auto SKlearn 將自動(dòng)搜索能夠處理用戶給定問(wèn)題的最佳算法。
轉(zhuǎn)到 Auto SKlearn 的第二個(gè)功能，我們有超參數(shù)調(diào)整。作為任何機(jī)器或深度學(xué)習(xí)模型的最后步驟之一，用戶應(yīng)該找到最佳模型參數(shù)來(lái)優(yōu)化結(jié)果。此任務(wù)需要大量時(shí)間，并且可以通過(guò)此類(lèi)框架輕松實(shí)現(xiàn)自動(dòng)化。
使用 Auto SKlearn 的獨(dú)特和最終好處是它能夠執(zhí)行自動(dòng)表征。表征是將原始數(shù)據(jù)轉(zhuǎn)換為可用信息的過(guò)程。
3.TPot
TPOT，也稱為 Tree Pipeline Optimization Tool，是最早的 python 開(kāi)源 autoML 軟件包之一。它專(zhuān)注于使用遺傳編程優(yōu)化機(jī)器學(xué)習(xí)管道。
TPOT 的主要目標(biāo)是通過(guò)將管道的靈活表達(dá)式樹(shù)表示與遺傳編程等隨機(jī)搜索算法相結(jié)合來(lái)自動(dòng)構(gòu)建 ML 管道。
請(qǐng)注意，TPOT 在sci-kit-learn library之上工作，必須先安裝它。
4.AutoKeras
AutoKeras是一個(gè)為 AutoML 和深度學(xué)習(xí)模型構(gòu)建的開(kāi)源庫(kù)，最初由 DATA 實(shí)驗(yàn)室開(kāi)發(fā)。
Auto Keras 幫助非專(zhuān)家機(jī)器和深度學(xué)習(xí)愛(ài)好者以最小的努力運(yùn)行和訓(xùn)練他們的模型。Auto Keras 的目標(biāo)是讓每個(gè)人都可以學(xué)習(xí)機(jī)器學(xué)習(xí)，它是初學(xué)者的絕佳工具
5.路德維希
Ludwig是一個(gè)開(kāi)源 autoML 框架，主要側(cè)重于使用簡(jiǎn)單的配置文件系統(tǒng)組裝和訓(xùn)練深度學(xué)習(xí)模型。
通過(guò)讓用戶提供一個(gè)配置文件來(lái)定義給定模型的輸入和輸出及其各自的數(shù)據(jù)類(lèi)型，Ludwig 框架將利用這些數(shù)據(jù)基于前面提到的屬性構(gòu)建其深度學(xué)習(xí)模型。
6. MLBOX
MLBOX正在崛起，并迅速成為頂級(jí)自動(dòng)化機(jī)器學(xué)習(xí)框架工具之一。
根據(jù)MLBOX 官方文檔，它提供了以下好處：
- 快速讀取和分布式數(shù)據(jù)預(yù)處理/清理/格式化。
- 高度穩(wěn)健的特征選擇和泄漏檢測(cè)。
- 高維空間中的精確超參數(shù)優(yōu)化。
- 最先進(jìn)的分類(lèi)和回歸預(yù)測(cè)模型（深度學(xué)習(xí)、堆疊、LightGBM 等）。
- 使用模型解釋進(jìn)行預(yù)測(cè)。
7. 自動(dòng)關(guān)機(jī)
AutoGloun面向?qū)＜液头菍?zhuān)家機(jī)器學(xué)習(xí)從業(yè)者，專(zhuān)注于自動(dòng)化堆棧集成、深度學(xué)習(xí)和跨越圖像、文本和表格數(shù)據(jù)的真實(shí)世界應(yīng)用程序。
根據(jù)AutoGloun 在線文檔，AutoGLoun 使用戶能夠：
- 僅需幾行代碼即可為原始數(shù)據(jù)快速構(gòu)建深度學(xué)習(xí)和經(jīng)典 ML 解決方案的原型。
- 在沒(méi)有專(zhuān)業(yè)知識(shí)的情況下自動(dòng)利用最先進(jìn)的技術(shù)（在適當(dāng)?shù)那闆r下）。
- 利用自動(dòng)超參數(shù)調(diào)整、模型選擇/集成、架構(gòu)搜索和數(shù)據(jù)處理。
- 輕松改進(jìn)/調(diào)整定制模型和數(shù)據(jù)管道，或?yàn)樘囟ㄓ美ㄖ?AutoGluon。
8.微軟神經(jīng)網(wǎng)絡(luò)智能（NNI）
Microsoft Neural Network Intelligence，也稱為 NNI，是一個(gè)工具包，旨在為深度學(xué)習(xí)自動(dòng)化特征工程、神經(jīng)架構(gòu)搜索、超參數(shù)調(diào)整和模型壓縮。
NNI 工具支持 PyTorch、TensorFlow、Scikit-learn、XGBoost、LightGBM 等框架。使用 Microsoft Neural Network 的主要好處是神經(jīng)架構(gòu)搜索，NNI 工具支持 Multi-trail（網(wǎng)格搜索、正則化進(jìn)化、基于策略的 IRL 等）和 One-shot（DARTS、ENAS FBNet 等）神經(jīng)架構(gòu)搜索。
該工具提供了多種超參數(shù)調(diào)整算法，例如貝葉斯優(yōu)化、窮舉搜索和啟發(fā)式搜索。查看 Github 上 NNI 的自述文件，了解有關(guān)此工具提供的其他內(nèi)容的更多信息。
9. 變形怪
TransmogrifAI旨在幫助開(kāi)發(fā)人員提高機(jī)器學(xué)習(xí)生產(chǎn)力。TransmogrifAI 在 Apache Spark 之上運(yùn)行。
正如 Transmogrif 上的 Github 自述文件中簡(jiǎn)要提到的那樣，“通過(guò)自動(dòng)化，它可以達(dá)到接近手動(dòng)調(diào)整模型的精度，并且時(shí)間減少了近 100 倍。”
與提到的其他 autoML 框架一樣，TransmogrifAI 工具能夠?yàn)橛脩暨x擇的數(shù)據(jù)集選擇最佳算法。
10. H2O 自動(dòng)機(jī)器學(xué)習(xí)
H2O autoML是 H2O 創(chuàng)建的開(kāi)源框架工具，同時(shí)支持 R 和 Python 編程。
它還支持最廣泛使用的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法，包括梯度提升機(jī)器、廣義線性模型和深度學(xué)習(xí)。
H2O autoML 接口通過(guò)要求盡可能少的參數(shù)來(lái)適應(yīng)新的機(jī)器學(xué)習(xí)用戶。用戶在使用 H2O 工具時(shí)的主要任務(wù)是提供數(shù)據(jù)集。
其他有用的 AutoML 工具
1.過(guò)度緊張
Hypertunity是一種輕量級(jí)工具，旨在使用輕量級(jí)包優(yōu)化模型的給定超參數(shù)。它們模塊化簡(jiǎn)單，可擴(kuò)展以允許無(wú)縫調(diào)度實(shí)現(xiàn)。
Hypertunity 支持使用 GPyOpt、Slurm 兼容調(diào)度程序的貝葉斯優(yōu)化，以及使用 Tensorboard 的實(shí)時(shí)可視化（通過(guò) HParams 插件）。
2. 蜻蜓
Dragonfly是一種開(kāi)源 autoML 工具，專(zhuān)為可擴(kuò)展的貝葉斯優(yōu)化而設(shè)計(jì)。
貝葉斯優(yōu)化用于評(píng)估超出普通優(yōu)化的非常昂貴的黑盒函數(shù)。
Dragonfly 允許新用戶用最少的知識(shí)解決可擴(kuò)展的貝葉斯優(yōu)化錯(cuò)誤。
3.雷音
作為我們的第二個(gè)超參數(shù)優(yōu)化工具，Ray Tune是一個(gè)用于擴(kuò)展 AI 和 Python 應(yīng)用程序的統(tǒng)一框架。
它通過(guò)分布式數(shù)據(jù)處理、分布式訓(xùn)練、可擴(kuò)展的超參數(shù)調(diào)整、可擴(kuò)展的強(qiáng)化學(xué)習(xí)和可擴(kuò)展的可編程服務(wù)來(lái)實(shí)現(xiàn)簡(jiǎn)單的 AI 工作負(fù)載擴(kuò)展。
4.自動(dòng)圖學(xué)習(xí)
Auto Graph Learning是一個(gè)獨(dú)特的 autoML 框架，它專(zhuān)注于圖形數(shù)據(jù)集的機(jī)器學(xué)習(xí)，非常容易和簡(jiǎn)單。
他們使用數(shù)據(jù)集來(lái)維護(hù)基于 Pytorch Geometric 或 Deep Graph Library 中的 Datasets 的基于圖的機(jī)器學(xué)習(xí)的數(shù)據(jù)集。
用于自動(dòng)機(jī)器學(xué)習(xí)的 GitHub 存儲(chǔ)庫(kù)
隨著機(jī)器和深度學(xué)習(xí)領(lǐng)域的進(jìn)步，對(duì)機(jī)器學(xué)習(xí)專(zhuān)家的需求大幅增加卻沒(méi)有得到解決。
這就是機(jī)器學(xué)習(xí)工具和技術(shù)的自動(dòng)化派上用場(chǎng)的地方，它允許新用戶比以往任何時(shí)候都更輕松地構(gòu)建功能齊全且高度優(yōu)化的模型。
簡(jiǎn)而言之，在尋找完美的自動(dòng)化機(jī)器學(xué)習(xí)工具時(shí)，您應(yīng)該關(guān)注您嘗試使用給定模型實(shí)現(xiàn)的目標(biāo)以及您希望自動(dòng)化的機(jī)器學(xué)習(xí)過(guò)程中的確切部分。我們建議您自己嘗試上述幾個(gè) autoML 工具，然后只使用您認(rèn)為高效且易于使用的幾個(gè)。
