4款深度學習框架簡介，初學者該如何選擇？
01 Theano
Theano是在BSD許可證下發布的一個開源項目，誕生于加拿大魁北克蒙特利爾大學的LISA實驗室，是用一位希臘數學家的名字命名的。
Theano是一個Python庫，可用于定義、優化和計算數學表達式，特別是多維數組(numpy.ndarray)。在解決包含大量數據的問題時，使用Theano可實現比手寫C 語言更快的編程速度。而通過GPU加速，Theano甚至可以比基于CPU計算的C語言快上好幾個數量級。
Theano結合了計算機代數系統(Computer Algebra System，CAS)和優化編譯器，還可以為多種數學運算生成定制的C語言代碼。對于包含重復計算的復雜數學表達式任務，計算速度很重要，因此這種CAS和優化編譯器的組合是很有用的。
對于需要將每種不同數學表達式都計算一遍的情況，Theano能夠實現編譯/解析計算量的最小化，但仍然會給出如自動微分那樣的符號特征。
在過去很長一段時間內，Theano是深度學習開發與研究的行業標準。而且由于誕生于學界，Theano最初是為學術研究而設計的，深度學習領域的許多學者至今仍在使用Theano。
但隨著TensorFlow在谷歌的支持下強勢崛起，Theano日漸式微，使用的人越來越少。在這個過程中標志性事件是：Theano創始者之一Ian Goodfellow放棄Theano轉去谷歌開發TensorFlow了。
2017年9月28日，在Theano 1.0正式版發布前夕，LISA實驗室負責人、深度學習三巨頭之一的Yoshua Bengio宣布Theano將停止繼續開發：“Theano is Dead.”
盡管Theano正慢慢退出歷史舞臺，但作為第一個Python深度學習框架，Theano很好地完成了自己的使命，為深度學習研究人員早期拓荒提供了極大的幫助，同時也為之后深度學習框架的開發奠定了基本設計方向：以計算圖為框架的核心，采用GPU加速計算。
總結：深度學習新手可以使用Theano來練習，但對于職業開發者，建議使用其他主流深度學習框架。
02 TensorFlow
2015年11月10日，Google宣布推出全新的機器學習開源工具TensorFlow。TensorFlow最初是由Google機器智能研究部門Google Brain團隊基于Google 2011年開發的深度學習基礎架構DistBelief構建的。
TensorFlow涉及大量數學運算的算法庫，是目前使用最廣泛的機器學習工具之一。Google在大部分應用程序中都使用TensorFlow來實現機器學習。例如，我們使用Google照相或Google語音搜索功能時，就是間接使用了TensorFlow模型，它們在大型Google硬件集群上工作，在感知任務方面功能強大。
TensorFlow在很大程度上可以看作Theano的后繼者，不僅因為它們有很大一批共同的開發者，更是因為它們還擁有相近的設計理念——基于計算圖實現自動微分系統。
TensorFlow編程接口支持Python和C++。隨著1.0版本的公布，相繼支持了Java、Go、R和Haskell API的alpha版本。此外，TensorFlow可在Google Cloud和AWS中運行。TensorFlow還支持 Windows 7、Windows 10和Windows Server 2016。
由于TensorFlow使用C++ Eigen庫，所以庫可在ARM架構上進行編譯和優化。這也就意味著用戶可以在各種服務器和移動設備上部署自己的訓練模型，無須執行單獨的模型解碼器或者加載Python解釋器。
作為當前主流的深度學習框架，TensorFlow獲得了極大的成功，但在學習過程中，讀者也需要注意如下問題。
- 由于TensorFlow的接口一直處于快速迭代之中，并且版本之間存在不兼容的問題，因此開發和調試過程可能會出現問題(許多開源代碼無法在新版的TensorFlow上運行)。
- 想學習TensorFlow底層運行機制的讀者需要做好心理準備，TensorFlow在GitHub代碼倉庫的總代碼量超過100萬行，系統設計比較復雜，因此這將是一個漫長的學習過程。
- 在代碼層面，面對同一個功能，TensorFlow提供了多種實現，這些實現良莠不齊，使用中還有細微的差異，請讀者注意區分。另外，TensorFlow創造了圖、會話、命名空間、PlaceHolder等諸多抽象概念，對普通用戶來說難以理解。
總結：憑借Google強大的推廣能力，TensorFlow已經成為當今最炙手可熱的深度學習框架，雖不完美但是最流行。目前各公司使用的框架也不統一，讀者有必要多學習幾個流行框架以作為知識儲備，TensorFlow就是一個不錯的選擇。
03 Keras
Keras是一個高層神經網絡API，由純Python編寫而成并使用TensorFlow、Theano及CNTK作為后端。Keras為支持快速實驗而生，能夠把想法迅速轉換為結果。Keras應該是深度學習框架之中最容易上手的一個，它提供了一致而簡潔的API，能夠極大地減少一般應用下用戶的工作量，避免用戶重復造輪子。
嚴格意義上講，Keras并不能算是一個深度學習框架，它更像一個構建于第三方框架之上的深度學習接口。Keras的缺點很明顯：過度封裝導致喪失靈活性。
Keras最初作為Theano的高級API，后來增加了TensorFlow和CNTK作為后端。為了屏蔽后端的差異性，提供一致的用戶接口，Keras做了層層封裝，導致用戶在新增操作或獲取底層的數據信息時過于困難。
同時，過度封裝也使得Keras的程序執行十分緩慢，許多Bug都隱藏于封裝之中，在絕大多數場景下，Keras是本書介紹的所有框架中運行最慢的一個。
學習Keras十分容易，但是很快就會遇到瓶頸，因為它缺少靈活性。另外，在使用Keras的大多數時間里，用戶主要是在調用接口，很難真正學到深度學習的內容。
總結：Keras比較適合作為深度學習框架，但是過度的封裝并不適合新手學習(無法理解深度學習的真正內涵)，故不推薦。
04 PyTorch
PyTorch是一個Python優先的深度學習框架，能夠在強大的GPU加速基礎上實現張量和動態神經網絡。
PyTorch是一個Python軟件包，提供了如下兩種高層面的功能。
- 使用強大的GPU加速的Tensor計算(類似 Numpy)。
- 構建基于tape框架的autograd系統深度神經網絡。
除此之外，PyTorch提供了完整的官方文檔、幫助用戶循序漸進地學習的用戶指南，以及作者親自維護的論壇以供用戶交流和求教。
Facebook人工智能研究院FAIR對PyTorch提供了強力支持，作為當今世界排名前三的深度學習研究機構，FAIR的力挺足以確保PyTorch獲得持續開發、更新的支持，不至于像許多由個人開發的框架那樣只是曇花一現。
如有需要，你也可以使用自己喜歡的Python軟件包(如Numpy、scipy和Cython)來擴展PyTorch。
相對于TensorFlow，PyTorch有一個顯著優點，就是它的圖是動態的，而TensorFlow是靜態的，不利于擴展。同時，PyTorch的使用非常方便。
總結：如果說TensorFlow的設計是“Make it complicated”，Keras的設計是“Make it complicated and hide it”，那么PyTorch的設計真正做到了“Keep it Simple，Stupid”。
小結：深度學習框架該如何選擇?
初學者往往糾結于選擇哪個深度學習框架作為學習的開始。在這里筆者建議初學者選擇容易上手、非過度調用接口的框架。另外對于初學者來說，所選框架應具備易用性強、性能佳、社區完善以及平臺支持等特點。
當今行業內各大公司使用的框架也都不盡相同，因此初學者可以考慮掌握多個框架(比如PyTorch和TensorFlow)以應對未來的職場要求。
