過(guò)去十年里，人們對(duì)機(jī)器學(xué)習(xí)的興趣經(jīng)歷了爆炸式的整長(zhǎng)。我們幾乎每天都可以在計(jì)算機(jī)程序、行業(yè)會(huì)議和媒體上看到機(jī)器學(xué)習(xí)的身影。很多關(guān)于機(jī)器學(xué)習(xí)的討論都混淆了“機(jī)器學(xué)習(xí)能做什么”和“人類(lèi)希望機(jī)器學(xué)習(xí)能做什么”。從根本上講，機(jī)器學(xué)習(xí)是運(yùn)用算法從原始數(shù)據(jù)中提取信息，并用某種類(lèi)型的模型進(jìn)行表示，然后使用該模型對(duì)一些尚未用模型表示的其他數(shù)據(jù)來(lái)進(jìn)行推斷。

神經(jīng)網(wǎng)絡(luò)就是機(jī)器學(xué)習(xí)各類(lèi)模型中的其中一類(lèi)，并且已經(jīng)存在了至少50年。神經(jīng)網(wǎng)絡(luò)的基本單位是節(jié)點(diǎn)，它的想法大致來(lái)源于哺乳動(dòng)物大腦中的生物神經(jīng)元。生物大腦中的神經(jīng)元節(jié)點(diǎn)之間的鏈接是隨著時(shí)間推移不斷演化的，而神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元節(jié)點(diǎn)鏈接也借鑒了這一點(diǎn)，會(huì)不斷演化（通過(guò)“訓(xùn)練”的方式）。

神經(jīng)網(wǎng)絡(luò)中很多重要框架的建立和改進(jìn)都完成于二十世紀(jì)八十年代中期和九十年代初期。然而，要想獲得較好結(jié)果需要大量的時(shí)間和數(shù)據(jù)，由于當(dāng)時(shí)計(jì)算機(jī)的能力有限，神經(jīng)網(wǎng)絡(luò)的發(fā)展受到了一定的阻礙，人們的關(guān)注度也隨之下降。二十一世紀(jì)初期，計(jì)算機(jī)的運(yùn)算能力呈指數(shù)級(jí)增長(zhǎng)，業(yè)界也見(jiàn)證了計(jì)算機(jī)技術(shù)發(fā)展的“寒武紀(jì)爆炸”——這在之前都是無(wú)法想象的。深度學(xué)習(xí)以一個(gè)競(jìng)爭(zhēng)者的姿態(tài)出現(xiàn)，在計(jì)算能力爆炸式增長(zhǎng)的十年里脫穎而出，并且贏得了許多重要的機(jī)器學(xué)習(xí)競(jìng)賽。其熱度在2017年仍然不減。如今，在機(jī)器學(xué)習(xí)的出現(xiàn)的地方我們都能看到深度學(xué)習(xí)的身影。

這是我自己做的一個(gè)小例子，詞向量的 t-SNE 投影，通過(guò)相似性進(jìn)行聚類(lèi)。

最近，我開(kāi)始閱讀關(guān)于深度學(xué)習(xí)的學(xué)術(shù)論文。根據(jù)我的個(gè)人研究，以下文章對(duì)這個(gè)領(lǐng)域的發(fā)展產(chǎn)生了巨大的影響：

• 1998年NYU的文章《基于梯度學(xué)習(xí)的文檔識(shí)別》（Gradient-Based Learning Applied to Document Recognition） 介紹了卷積神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中的應(yīng)用。
• Toronto 2009年的文章《深度波茲曼機(jī)器》（Deep Boltzmann Machines） 針對(duì)波茲曼機(jī)提出了一種新的學(xué)習(xí)算法，其中包含許多隱藏層。
• Stanford 和 Google 2012年聯(lián)合發(fā)表的文章《使用大規(guī)模非監(jiān)督學(xué)習(xí)構(gòu)建高層特征》（Building High-Level Features Using Large-Scale Unsupervised Learning） 解決了僅利用未標(biāo)記的數(shù)據(jù)構(gòu)建高級(jí)、特定類(lèi)的特征檢測(cè)器的問(wèn)題。
• Berkeley 2013年的文章《用于一般視覺(jué)識(shí)別的深層卷積激活特征》（DeCAF——A Deep Convolutional Activation Feature for Generic Visual Recognition） 發(fā)布了名為 DeCAF 的算法，這是深度卷積激活特征的一個(gè)開(kāi)源實(shí)現(xiàn)，使用相關(guān)的網(wǎng)絡(luò)參數(shù)，視覺(jué)研究人員能夠利用一系列視覺(jué)概念學(xué)習(xí)范例進(jìn)行深入實(shí)驗(yàn)。
• DeepMind 2016年的文章《用深度強(qiáng)化學(xué)習(xí)玩Atari》（Playing Atari with Deep Reinforcement Learning） 提出了第一個(gè)可以成功地通過(guò)強(qiáng)化學(xué)習(xí)從高維感官輸入中直接學(xué)習(xí)控制策略的深度學(xué)習(xí)模型。

我整理了人工智能工程師 10 個(gè)用于解決機(jī)器學(xué)習(xí)問(wèn)題的強(qiáng)大的深度學(xué)習(xí)方法。但是，我們首先需要定義什么是深度學(xué)習(xí)。

如何定義深度學(xué)習(xí)是很多人面臨的一個(gè)挑戰(zhàn)，因?yàn)樗男问皆谶^(guò)去的十年中已經(jīng)慢慢地發(fā)生了改變。下圖直觀地展示了人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間的關(guān)系。

人工智能領(lǐng)域廣泛，存在時(shí)間較長(zhǎng)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，而機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的一個(gè)子集。一般將深度學(xué)習(xí)網(wǎng)絡(luò)與“典型”前饋多層網(wǎng)絡(luò)從如下方面進(jìn)行區(qū)分：

• 深度學(xué)習(xí)網(wǎng)絡(luò)具有比前饋網(wǎng)絡(luò)更多的神經(jīng)元
• 深度學(xué)習(xí)網(wǎng)絡(luò)連接層之間的方式更復(fù)雜
• 深度學(xué)習(xí)網(wǎng)絡(luò)需要有像“寒武紀(jì)大爆發(fā)”式的計(jì)算能力進(jìn)行訓(xùn)練
• 深度學(xué)習(xí)網(wǎng)絡(luò)能夠自動(dòng)提取特征

上文提到的“更多的神經(jīng)元”是指近年來(lái)神經(jīng)元的數(shù)量不斷增加，就可以用更復(fù)雜的模型來(lái)表示。層也從多層網(wǎng)絡(luò)中每一層完全連接，發(fā)展到卷積神經(jīng)網(wǎng)絡(luò)中神經(jīng)元片段的局部連接，以及與遞歸神經(jīng)網(wǎng)絡(luò)中的同一神經(jīng)元的循環(huán)連接（與前一層的連接除外）。

因此，深度學(xué)習(xí)可以被定義為以下四個(gè)基本網(wǎng)絡(luò)框架中具有大量參數(shù)和層數(shù)的神經(jīng)網(wǎng)絡(luò)：

• 無(wú)監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)
• 卷積神經(jīng)網(wǎng)絡(luò)
• 循環(huán)神經(jīng)網(wǎng)絡(luò)
• 遞歸神經(jīng)網(wǎng)絡(luò)

在這篇文章中，我主要討論三個(gè)框架：

• 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）基本上就是用共享權(quán)重在空間中進(jìn)行擴(kuò)展的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)主要是通過(guò)內(nèi)部卷積來(lái)識(shí)別圖片，內(nèi)部卷積可以看到圖像上識(shí)別對(duì)象的邊緣。
• 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）基本上就是在時(shí)間上進(jìn)行擴(kuò)展的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)，它提取進(jìn)入下一時(shí)間步的邊沿，而不是在同一時(shí)間進(jìn)入下一層。循環(huán)神經(jīng)網(wǎng)絡(luò)主要是為了識(shí)別序列，例如語(yǔ)音信號(hào)或者文本。其內(nèi)部的循環(huán)意味著網(wǎng)絡(luò)中存在短期記憶。
• 遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network）更類(lèi)似于分層網(wǎng)絡(luò)，其中輸入序列沒(méi)有真正的時(shí)間面，但是必須以樹(shù)狀方式分層處理。以下10種方法均可應(yīng)用于這些框架。

1、反向傳播

反向傳播是一種計(jì)算函數(shù)偏導(dǎo)數(shù)（或梯度）的簡(jiǎn)單方法，它的形式是函數(shù)組合（如神經(jīng)網(wǎng)絡(luò)）。在使用基于梯度的方法求解最優(yōu)化問(wèn)題（梯度下降只是其中之一）時(shí)，需要在每次迭代中計(jì)算函數(shù)梯度。

對(duì)于一個(gè)神經(jīng)網(wǎng)絡(luò)，其目標(biāo)函數(shù)是組合形式。那么應(yīng)該如何計(jì)算梯度呢？有2種常規(guī)方法：

• （1）微分解析法。函數(shù)形式已知的情況下，只需要用鏈?zhǔn)椒▌t（基礎(chǔ)微積分）計(jì)算導(dǎo)數(shù)。
• （2）有限差分法近似微分。這種方法運(yùn)算量很大，因?yàn)楹瘮?shù)評(píng)估的數(shù)量級(jí)是 O(N)，其中 N 是參數(shù)的個(gè)數(shù)。與微分解析法相比，這種方法運(yùn)算量更大，但是在調(diào)試時(shí)，通常會(huì)使用有限差分驗(yàn)證反向傳播的效果。

2、隨機(jī)梯度下降

梯度下降的一個(gè)直觀理解就是想象一條源自山頂?shù)暮恿鳌＿@條河流會(huì)沿著山勢(shì)的方向流向山麓的最低點(diǎn)，而這也正是梯度下降法的目標(biāo)。

我們所期望的最理想的情況就是河流在到達(dá)最終目的地（最低點(diǎn)）之前不會(huì)停下。在機(jī)器學(xué)習(xí)中，這等價(jià)于我們已經(jīng)找到了從初始點(diǎn)（山頂）開(kāi)始行走的全局最小值（或最優(yōu)值）。然而，可能由于地形原因，河流的路徑中會(huì)出現(xiàn)很多坑洼，而這會(huì)使得河流停滯不前。在機(jī)器學(xué)習(xí)術(shù)語(yǔ)中，這種坑洼稱(chēng)為局部最優(yōu)解，而這不是我們想要的結(jié)果。有很多方法可以解決局部最優(yōu)問(wèn)題。

因此，由于地形（即函數(shù)性質(zhì)）的限制，梯度下降算法很容易卡在局部最小值。但是，如果能夠找到一個(gè)特殊的山地形狀（比如碗狀，術(shù)語(yǔ)稱(chēng)作凸函數(shù)），那么算法總是能夠找到最優(yōu)點(diǎn)。在進(jìn)行最優(yōu)化時(shí)，遇到這些特殊的地形（凸函數(shù)）自然是最好的。另外，山頂初始位置（即函數(shù)的初始值）不同，最終到達(dá)山底的路徑也完全不同。同樣，不同的流速（即梯度下降算法的學(xué)習(xí)速率或步長(zhǎng)）也會(huì)導(dǎo)致到達(dá)目的地的方式有差異。是否會(huì)陷入或避開(kāi)一個(gè)坑洼（局部最小值），都會(huì)受到這兩個(gè)因素的影響。

3、學(xué)習(xí)率衰減

調(diào)整隨機(jī)梯度下降優(yōu)化算法的學(xué)習(xí)速率可以提升性能并減少訓(xùn)練時(shí)間。這被稱(chēng)作學(xué)習(xí)率退火或自適應(yīng)學(xué)習(xí)率。訓(xùn)練中最簡(jiǎn)單也最常用的學(xué)習(xí)率自適應(yīng)方法就是逐漸降低學(xué)習(xí)率。在訓(xùn)練初期使用較大的學(xué)習(xí)率，可以對(duì)學(xué)習(xí)率進(jìn)行大幅調(diào)整；在訓(xùn)練后期，降低學(xué)習(xí)率，以一個(gè)較小的速率更新權(quán)重。這種方法在早期可以快速學(xué)習(xí)獲得較好的權(quán)重，并在后期對(duì)權(quán)重進(jìn)行微調(diào)。

兩個(gè)流行而簡(jiǎn)單的學(xué)習(xí)率衰減方法如下：

• 線性地逐步降低學(xué)習(xí)率
• 在特定時(shí)點(diǎn)大幅降低學(xué)習(xí)率

4、Dropout

擁有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，在這樣的網(wǎng)絡(luò)中,過(guò)擬合是一個(gè)很?chē)?yán)重的問(wèn)題。而且大型網(wǎng)絡(luò)的運(yùn)行速度很慢，這就使得在測(cè)試階段通過(guò)結(jié)合多個(gè)不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)來(lái)解決過(guò)擬合問(wèn)題是很困難的。Dropout 方法可以解決這個(gè)問(wèn)題。

其主要思想是，在訓(xùn)練過(guò)程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中刪除單元（以及相應(yīng)的連接），這樣可以防止單元間的過(guò)度適應(yīng)。訓(xùn)練過(guò)程中，在指數(shù)級(jí)不同“稀疏度”的網(wǎng)絡(luò)中剔除樣本。在測(cè)試階段，很容易通過(guò)使用具有較小權(quán)重的單解開(kāi)網(wǎng)絡(luò)（single untwined network），將這些稀疏網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果求平均來(lái)進(jìn)行近似。這能有效地避免過(guò)擬合，并且相對(duì)于其他正則化方法能得到更大的性能提升。Dropout 技術(shù)已經(jīng)被證明在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、文本分類(lèi)和計(jì)算生物學(xué)等領(lǐng)域的有監(jiān)督學(xué)習(xí)任務(wù)中能提升神經(jīng)網(wǎng)絡(luò)的性能，并在多個(gè)基準(zhǔn)數(shù)據(jù)集中達(dá)到最優(yōu)秀的效果。

5、最大池

最大池是一種基于樣本的離散化方法。目標(biāo)是對(duì)輸入表征（圖像、隱藏層輸出矩陣等）進(jìn)行下采樣，降低維度并且允許對(duì)子區(qū)域中的特征進(jìn)行假設(shè)。

通過(guò)提供表征的抽象形式，這種方法可以在某種程度上解決過(guò)擬合問(wèn)題。同樣，它也通過(guò)減少學(xué)習(xí)參數(shù)的數(shù)目以及提供基本的內(nèi)部表征轉(zhuǎn)換不變性來(lái)減少計(jì)算量。最大池是通過(guò)將最大過(guò)濾器應(yīng)用于通常不重疊的初始表征子區(qū)域來(lái)完成的。

6、批量標(biāo)準(zhǔn)化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始值和學(xué)習(xí)參數(shù)。批量標(biāo)準(zhǔn)化能夠使這個(gè)過(guò)程更加簡(jiǎn)單。

權(quán)重問(wèn)題：

• 無(wú)論怎么設(shè)置權(quán)重初始值，比如隨機(jī)或按經(jīng)驗(yàn)選擇，初始權(quán)重和學(xué)習(xí)后的權(quán)重差別都很大。考慮一小批權(quán)重，在最初時(shí)，對(duì)于所需的特征激活可能會(huì)有很多異常值。
• 深度神經(jīng)網(wǎng)絡(luò)本身就具有病態(tài)性，即初始層的微小變化就會(huì)導(dǎo)致后一層的巨大變化。

在反向傳播過(guò)程中，這些現(xiàn)象會(huì)導(dǎo)致梯度的偏移，這就意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需要的輸出之前，梯度必須補(bǔ)償異常值。而這將導(dǎo)致需要額外的時(shí)間才能收斂。

批量標(biāo)準(zhǔn)化將這些梯度從異常值調(diào)整為正常值，并在小批量范圍內(nèi)（通過(guò)標(biāo)準(zhǔn)化）使其向共同的目標(biāo)收斂。

學(xué)習(xí)率問(wèn)題：

• 通常來(lái)說(shuō)，學(xué)習(xí)率都比較小，這樣只有一小部分的梯度用來(lái)校正權(quán)重，因?yàn)楫惓＜せ畹奶荻炔粦?yīng)該影響已經(jīng)學(xué)習(xí)好的權(quán)重。
• 通過(guò)批量標(biāo)準(zhǔn)化，這些異常激活的可能性會(huì)被降低，就可以使用更大的學(xué)習(xí)率加速學(xué)習(xí)過(guò)程。電動(dòng)叉車(chē)輪胎

7、長(zhǎng)短期記憶

長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和其他遞歸神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元有以下三個(gè)不同點(diǎn)：

• 它可以決定何時(shí)讓輸入進(jìn)入神經(jīng)元
• 它可以決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容
• 它可以決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間戳 LSTM的強(qiáng)大之處在于它可以只基于當(dāng)前的輸入就決定上述所有。請(qǐng)看下方的圖表：

當(dāng)前時(shí)間戳的輸入信號(hào) x(t) 決定了上述三點(diǎn)。

• 輸入門(mén)（input gate）決定了第一點(diǎn)，
• 遺忘門(mén)（forget gate）決定了第二點(diǎn)，
• 輸出門(mén)（output gate）決定了第三點(diǎn)。 只依賴輸入就可以完成這三項(xiàng)決定。這是受到大腦工作機(jī)制的啟發(fā)，大腦可以基于輸入來(lái)處理突然的上下文語(yǔ)境切換。

8、Skip-gram

詞嵌入模型的目的是針對(duì)每個(gè)詞學(xué)習(xí)一個(gè)高維密集表征，其中嵌入向量之間的相似性顯示了相應(yīng)詞語(yǔ)之間語(yǔ)義或句法的相似性。Skip-gram 是一種學(xué)習(xí)詞嵌入算法的模型。 skip-gram 模型（包括很多其它詞嵌入模型）背后的主要思想是：如果兩個(gè)詞匯項(xiàng)有相似的上下文，則它們是相似的。

換句話說(shuō)，假設(shè)有一個(gè)句子，比如“cats are mammals”，如果用“dogs”替換“cats”，該句子仍然是有意義的。因此在這個(gè)例子中，“dogs”和“cats”有相似的上下文（即“are mammals”）。

基于以上假設(shè)，我們可以考慮一個(gè)上下文窗口（包含 K 個(gè)連續(xù)項(xiàng)）。然后跳過(guò)其中一個(gè)詞，試著學(xué)習(xí)一個(gè)可以得到除了跳過(guò)的這個(gè)詞以外所有詞項(xiàng)，并且可以預(yù)測(cè)跳過(guò)的詞的神經(jīng)網(wǎng)絡(luò)。因此，如果兩個(gè)詞在一個(gè)大語(yǔ)料庫(kù)中多次具有相似的上下文，那么這些詞的嵌入向量將會(huì)是相似的。

9、連續(xù)詞袋模型

在自然語(yǔ)言處理中，我們希望將文檔中的每一個(gè)單詞表示為一個(gè)數(shù)值向量，使得出現(xiàn)在相似上下文中的單詞具有相似或相近的向量表示。在連續(xù)詞袋模型中，我們的目標(biāo)是利用一個(gè)特定單詞的上下文，預(yù)測(cè)該詞。

首先在一個(gè)大的語(yǔ)料庫(kù)中抽取大量的句子，每看到一個(gè)單詞，同時(shí)抽取它的上下文。然后我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)在這個(gè)上下文中心的單詞。

當(dāng)我們有成千上萬(wàn)個(gè)這樣的上下文詞匯和中心詞時(shí)，我們就得到了一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。然后訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)，在經(jīng)過(guò)編碼的隱藏層的最終輸出中，我們得到了特定單詞的嵌入式表達(dá)。當(dāng)我們對(duì)大量的句子進(jìn)行訓(xùn)練時(shí)也能發(fā)現(xiàn)，類(lèi)似上下文中的單詞都可以得到相似的向量。

10、遷移學(xué)習(xí)

我們來(lái)考慮一下卷積神經(jīng)網(wǎng)絡(luò)是如何處理圖像的。假設(shè)有一張圖像，對(duì)其應(yīng)用卷積，并得到像素的組合作為輸出。假設(shè)這些輸出是邊緣，再次應(yīng)用卷積，那么現(xiàn)在的輸出將是邊緣或線的組合。然后再次應(yīng)用卷積，此時(shí)的輸出將是線的組合，以此類(lèi)推。可以把它想象成是在每一層尋找一個(gè)特定的模式。神經(jīng)網(wǎng)絡(luò)的最后一層通常會(huì)變得非常特別。

如果基于 ImageNet 進(jìn)行訓(xùn)練，那么神經(jīng)網(wǎng)絡(luò)的最后一層或許就是在尋找兒童、狗或者飛機(jī)之類(lèi)的完整圖像。再往后倒退幾層，可能會(huì)看到神經(jīng)網(wǎng)絡(luò)在尋找眼睛、耳朵、嘴巴或者輪子等組成部分。

深度卷積神經(jīng)網(wǎng)絡(luò)中的每一層逐步建立起越來(lái)越高層次的特征表征，最后幾層通常是專(zhuān)門(mén)針對(duì)輸入數(shù)據(jù)。另一方面，前面的層則更為通用，主要用來(lái)在一大類(lèi)圖片中有找到許多簡(jiǎn)單的模式。

遷移學(xué)習(xí)就是在一個(gè)數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，去掉最后一層，在不同的數(shù)據(jù)集上重新訓(xùn)練模型的最后一層。直觀來(lái)講，就是重新訓(xùn)練模型以識(shí)別不同的高級(jí)特征。因此，訓(xùn)練時(shí)間會(huì)減少很多，所以在沒(méi)有足夠的數(shù)據(jù)或者需要太多的資源時(shí)，遷移學(xué)習(xí)是一個(gè)很有用的工具。

總結(jié)：