在深度學(xué)習(xí)項(xiàng)目開(kāi)始前，選擇一個(gè)合適的框架是非常重要的事情。最近，來(lái)自數(shù)據(jù)科學(xué)公司 Silicon Valley Data Science 的數(shù)據(jù)工程師 Matt Rubashkin（UC Berkeley 博士）為我們帶來(lái)了深度學(xué)習(xí) 7 種流行框架的深度橫向?qū)Ρ龋Ｍ疚哪軐?duì)你帶來(lái)幫助。

[[195830]]

在 SVDS，我們的研發(fā)團(tuán)隊(duì)一直在研究不同的深度學(xué)習(xí)技術(shù)；從識(shí)別圖像到語(yǔ)音，我們也在各類(lèi)框架下實(shí)現(xiàn)了不少應(yīng)用。在這個(gè)過(guò)程中，我們意識(shí)到需要一個(gè)簡(jiǎn)明的方式來(lái)獲取數(shù)據(jù)、創(chuàng)建模型、同時(shí)評(píng)估這些模型的表現(xiàn)。但當(dāng)我們一次次開(kāi)始新的深度學(xué)習(xí)項(xiàng)目時(shí)，我們卻一直沒(méi)有找到一個(gè)可以參考的標(biāo)準(zhǔn)來(lái)告訴自己如何開(kāi)始。

現(xiàn)在，為了回饋開(kāi)源社區(qū)，同時(shí)幫助后來(lái)者，我們決定以我們的經(jīng)驗(yàn)對(duì)目前流行的幾種工具（Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK）進(jìn)行一次橫向?qū)Ρ取Ｒ韵聢D表展示了各類(lèi)深度學(xué)習(xí)工具的優(yōu)劣，希望對(duì)大家能有所幫助。

先放結(jié)論：

這組對(duì)比參考了多種公開(kāi)基準(zhǔn)評(píng)測(cè)，以及我們?cè)趫D像/語(yǔ)音識(shí)別應(yīng)用時(shí)對(duì)這些技術(shù)的 主觀印象。此外，你需要注意：

語(yǔ)言

當(dāng)你開(kāi)始一個(gè)深度學(xué)習(xí)項(xiàng)目時(shí)，你***使用一個(gè)支持你所會(huì)語(yǔ)言的框架。比如 Caffe（C++）和 Torch（Lua）只能支持有限的語(yǔ)言（最近，隨著 PyTorch 的出現(xiàn)，情況有所改觀）。所以如果你希望選用上述兩個(gè)框架，我們建議你事先熟悉 C++或 Lua 語(yǔ)言。相比之下，TensorFlow 與 MXNet 具有豐富的多語(yǔ)言支持，即使你對(duì) C++感到陌生也可以使用它們。

教程和資源

目前，各類(lèi)深度學(xué)習(xí)框架的教程與可利用的資源在質(zhì)量和數(shù)量上有著顯著的不同。Theano，TensorFlow，Torch 和 MXNet 有著很詳盡的文檔教程，很容易被初學(xué)者理解和實(shí)現(xiàn)。與此相比，雖然微軟的 CNTK 和英特爾的 Nervana Neon 也是強(qiáng)大的工具，我們卻很少能見(jiàn)到有關(guān)它們的新手級(jí)資料。此外，在研究過(guò)程中，我們發(fā)現(xiàn) GitHub 社區(qū)的參與度不僅可以用于準(zhǔn)確地評(píng)價(jià)不同工具的開(kāi)發(fā)水平，而且還是在搜索 StackOverflow 或 repo 的 Git Issues 時(shí)能否快速解決問(wèn)題的參考性指標(biāo)。當(dāng)然，作為谷歌提供的框架，TensorFlow 理所當(dāng)然地在教程，資源，開(kāi)發(fā)者和社區(qū)貢獻(xiàn)者的數(shù)量上***。

CNN 建模能力

卷積神經(jīng)網(wǎng)絡(luò)（CNN）經(jīng)常被用于圖像識(shí)別、推薦引擎和自然語(yǔ)言識(shí)別等方向的應(yīng)用。CNN 由一組多層的神經(jīng)網(wǎng)絡(luò)組成，在運(yùn)行時(shí)會(huì)將輸入的數(shù)據(jù)進(jìn)行預(yù)定義分類(lèi)的評(píng)分。CNN 也可用于回歸分析，例如構(gòu)成自動(dòng)駕駛汽車(chē)中有關(guān)轉(zhuǎn)向角的模型。在橫評(píng)中，我們?cè)u(píng)價(jià)一種框架的 CNN 建模能力考慮到以下幾個(gè)特性：定義模型的機(jī)會(huì)空間、預(yù)構(gòu)建層的可用性、以及可用于連接這些層的工具和功能。我們發(fā)現(xiàn)，Theano，Caffe 和 MXNet 都有很好的 CNN 建模能力。其中，TensorFlow 因?yàn)橐子诮⒌?Inception V3 模型，Torch 因?yàn)槠湄S富的 CNN 資源——包括易于使用的時(shí)間卷積集使得這兩種框架在 CNN 建模能力上脫穎而出。

RNN 建模能力

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）常用于語(yǔ)音識(shí)別，時(shí)間序列預(yù)測(cè)，圖像字幕和其他需要處理順序信息的任務(wù)。由于預(yù)建的 RNN 模型不如 CNN 數(shù)量多，因此，如果你已經(jīng)有一個(gè) RNN 深度學(xué)習(xí)項(xiàng)目，優(yōu)先考慮舊 RNN 模型是在哪種框架里實(shí)現(xiàn)的最重要。目前，Caffe 上的 RNN 資源最少，而 Microsoft 的 CNTK 和 Torch 有豐富的 RNN 教程和預(yù)構(gòu)建模型。當(dāng)然，***的 TensorFlow 中也有一些 RNN 資源，TFLearn 和 Keras 中更有很多使用 TensorFlow 的 RNN 示例。

架構(gòu)

為在特定框架中構(gòu)建和訓(xùn)練新模型，易于使用和模塊化的前端是至關(guān)重要的。TensorFlow，Torch 和 MXNet 都有直觀而模塊化的架構(gòu)，讓開(kāi)發(fā)相對(duì)變得簡(jiǎn)單。相比之下，我們?cè)?Caffe 這樣的框架上需要進(jìn)行大量的工作才能創(chuàng)建一個(gè)新層。另外我們發(fā)現(xiàn)在開(kāi)發(fā)過(guò)程中，因?yàn)橛?TensorBoard web GUI 等應(yīng)用的存在，TensorFlow 極易在訓(xùn)練中和訓(xùn)練后進(jìn)行 debug 和監(jiān)控。

速度

Torch 和 Nervana 具有開(kāi)源卷積神經(jīng)網(wǎng)絡(luò)基準(zhǔn)測(cè)試的***性能：

https://github.com/soumith/convnet-benchmarks/blob/master/README.md

Tensorflow 的性能在大多數(shù)測(cè)試中是具有競(jìng)爭(zhēng)力的，而 Caffe 和 Theano 稍稍落后：

https://github.com/tobigithub/tensorflow-deep-learning/wiki/tf-benchmarks

微軟聲稱(chēng)他們的 CNTK 在一些 RNN 訓(xùn)練任務(wù)中有最快的速度。

在另一項(xiàng)對(duì)比 Theano、Torch 和 TensorFlow 的 RNN 性能的研究中，Theano 是其中最快的：

https://arxiv.org/abs/1511.06435

多 GPU 支持

大多數(shù)深度學(xué)習(xí)應(yīng)用都需要用到巨量的浮點(diǎn)運(yùn)算（FLOP）。例如，百度的 DeepSpeech 識(shí)別模型需要 10s ExaFLOPs 用于訓(xùn)練，這是大于 10e18 的計(jì)算量：

https://arxiv.org/abs/1512.02595

考慮到目前英偉達(dá) Pascal 架構(gòu)的 TitanX 等***顯卡可以每秒執(zhí)行 10e9 FLOP：

https://www.nvidia.com/en-us/geforce/products/10series/titan-x-pascal/

因此，假如需要在大型數(shù)據(jù)集上訓(xùn)練一個(gè)新模型——用單 GPU 機(jī)器的話——可能會(huì)需要一個(gè)星期之久。為了減少構(gòu)建模型所需的時(shí)間，我們需要使用多 GPU 并聯(lián)的方式組建自己的機(jī)器。幸運(yùn)的是，上述大部分架構(gòu)都可以很好地支持多 GPU 運(yùn)算。其中，據(jù)報(bào)道 MXNet 有著***的多 GPU 優(yōu)化引擎：

http://www.allthingsdistributed.com/2016/11/mxnet-default-framework-deep-learning-aws.html

Keras 兼容性

Keras 是一個(gè)用于快速構(gòu)建深度學(xué)習(xí)原型的高級(jí)庫(kù)。我們?cè)趯?shí)踐中發(fā)現(xiàn)，它是數(shù)據(jù)科學(xué)家應(yīng)用深度學(xué)習(xí)的好幫手。Keras 目前支持兩種后端框架：TensorFlow 與 Theano，而且 Keras 再過(guò)不久就會(huì)成為 TensorFlow 的默認(rèn) API：

http://www.fast.ai/2017/01/03/keras/

盡管如此，Keras 的作者表示，這一高級(jí)庫(kù)在未來(lái)仍會(huì)作為支持多種框架的前端存在：

https://github.com/fchollet/keras/issues/5050#issuecomment-272945570

總結(jié)

如果你想要開(kāi)始深度學(xué)習(xí)，你應(yīng)該從評(píng)估自己的團(tuán)隊(duì)技能和業(yè)務(wù)需求開(kāi)始。例如，如果一個(gè)以 Python 為中心的團(tuán)隊(duì)想開(kāi)發(fā)圖像識(shí)別的應(yīng)用程序，你應(yīng)該使用 TensorFlow，因?yàn)樗胸S富的資源，較好性能和完整的原型工具。如果一個(gè)有 Lua 能力的團(tuán)隊(duì)希望將 RNN 大規(guī)模應(yīng)用到生產(chǎn)環(huán)境中去，他們則會(huì)受益于 Torch 的高速和強(qiáng)大的 RNN 建模能力。

未來(lái)，我們將繼續(xù)討論在更大規(guī)模的應(yīng)用中這些框架的表現(xiàn)。這些挑戰(zhàn)包括多機(jī)并聯(lián)時(shí)的多 GPU 優(yōu)化，多種開(kāi)源庫(kù)的兼容性，如 CMU Sphinx 和 Kaldi 等，盡請(qǐng)期待。