大概從20世紀(jì)50年代的早期研究開始，機(jī)器學(xué)習(xí)的所有工作就都是隨著神經(jīng)網(wǎng)絡(luò)的創(chuàng)建積累而來的。隨后出現(xiàn)了一個又一個新算法，從邏輯回歸到支持向量機(jī)。但是十分確切地說，神經(jīng)網(wǎng)絡(luò)是算法的算法及機(jī)器學(xué)習(xí)的巔峰。可以說，神經(jīng)網(wǎng)絡(luò)是對機(jī)器學(xué)習(xí)的普遍概括，而不是僅僅一次嘗試。

[[337856]]

這樣說來，與其說神經(jīng)網(wǎng)絡(luò)是簡單的算法，不如說是框架和概念，這是顯而易見的，因為在構(gòu)建神經(jīng)網(wǎng)絡(luò)時有很大的自由度——比如對于隱藏層&節(jié)點個數(shù)、激活函數(shù)、優(yōu)化器、損失函數(shù)、網(wǎng)絡(luò)類型(卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等)以及特殊層(批歸一化、隨機(jī)失活等)。

如果把神經(jīng)網(wǎng)絡(luò)看作是概念而非嚴(yán)格的算法，一個有趣的推論就應(yīng)運而生了：任何機(jī)器學(xué)習(xí)算法，無論是決策樹還是k近鄰，都可以用神經(jīng)網(wǎng)絡(luò)表示。直覺上，我們可以通過幾個例子理解，更嚴(yán)謹(jǐn)?shù)刂v，這種說法也可以通過數(shù)學(xué)方法證明。

我們先來定義一下什么是神經(jīng)網(wǎng)絡(luò)：它是一個體系結(jié)構(gòu)，包括輸入層、隱藏層和輸出層，各層的節(jié)點之間互相連接。信息通過線性變換(權(quán)重和偏置)和非線性變換(激活函數(shù))從輸入層轉(zhuǎn)換到輸出層，有一些方法可以更新模型的可訓(xùn)練參數(shù)。

邏輯回歸簡單定義為一個標(biāo)準(zhǔn)回歸，每個輸入的乘法系數(shù)和附加截距都要通過一個sigmoid函數(shù)，這可以通過不包括隱藏層的神經(jīng)網(wǎng)絡(luò)來建模，結(jié)果是通過sigmoid輸出神經(jīng)元的多元回歸;線性回歸也可以通過將輸出神經(jīng)元激活函數(shù)替換為線性激活函數(shù)來建模(線性激活函數(shù)只是映射輸出f(x)= x，換句話說，它什么也不做)。

支持向量機(jī)(SVM)算法試圖通過所謂的“核技巧”將數(shù)據(jù)投影到一個新的空間，從而優(yōu)化數(shù)據(jù)的線性可分性。數(shù)據(jù)轉(zhuǎn)換完成后，該算法繪制出沿組界最佳分離數(shù)據(jù)的超平面。超平面簡單定義為現(xiàn)有維度的線性結(jié)合，很像是二維的直線和三維的平面。

這樣說來，可以將SVM算法看成是將數(shù)據(jù)投影到一個新的空間，隨后進(jìn)行多元回歸。神經(jīng)網(wǎng)絡(luò)的輸出可以通過某種有界輸出函數(shù)來實現(xiàn)概率結(jié)果。

可能需要進(jìn)行一些限制，比如限制節(jié)點間的連接，并固定某些參數(shù)，當(dāng)然，這些變化不會影響“神經(jīng)網(wǎng)絡(luò)”標(biāo)簽的完整性，也許還需要添加更多層來確保支持向量機(jī)的表現(xiàn)與實際情況一樣。

基于樹的算法會更加復(fù)雜一些，如決策樹算法。至于如何構(gòu)建此類神經(jīng)網(wǎng)絡(luò)，在于它如何劃分自己的特征空間。當(dāng)一個訓(xùn)練點穿過一系列分割節(jié)點時，特征空間被分割成幾個超立方體;在二維空間示例中，垂直線和水平線構(gòu)成了正方形。

圖源：DataCamp社區(qū)

因此，沿著這些線分割特征空間的類似方式可以用更嚴(yán)格的激活函數(shù)來模擬，如階躍函數(shù)，其中輸入值本質(zhì)上是分割線。可能需要限制權(quán)重和偏置的值，因此它們僅用于通過拉伸、收縮和定位來確定分界線的方向。為了得到概率結(jié)果，其結(jié)果可以通過激活函數(shù)傳遞。

盡管在技術(shù)上神經(jīng)網(wǎng)絡(luò)對算法的表示和實際算法有很多差異，但是重點在于神經(jīng)網(wǎng)絡(luò)表達(dá)了相同的思想，并且可以運用相同的策略處理問題，其表現(xiàn)與實際算法也是一樣的。

然而一些人或許并不滿足于粗略地將算法轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的形式，或者希望看到對于更復(fù)雜算法的通用應(yīng)用，如k近鄰和樸素貝葉斯，而不是具體情況具體分析。

通用逼近定理(UniversalApproximation Theorem)可以解決這個問題，它是神經(jīng)網(wǎng)絡(luò)巨大成功背后的數(shù)學(xué)解釋，從本質(zhì)上表明一個足夠大的神經(jīng)網(wǎng)絡(luò)可以以任意精度模擬任何函數(shù)。假設(shè)有一個代表數(shù)據(jù)的函數(shù)f(x)，對于每個數(shù)據(jù)點(x, y)，f(x)總是返回一個等于或非常接近y的值。

建模的目的是找到這個有代表性的或標(biāo)注正確的函數(shù)f(x)，并用p(x)來表示預(yù)測。所有機(jī)器學(xué)習(xí)算法都以不同的方法處理這個任務(wù)，將不同的假設(shè)視為有效，并且給出最佳結(jié)果p(x)。如果寫出創(chuàng)建p(x)的算法，你可能會得到從條件列表到純數(shù)學(xué)運算之間的任何結(jié)果。描述函數(shù)如何將目標(biāo)映射到輸入的函數(shù)實際上可以采用任何形式。

這些函數(shù)有時有用，有時沒用——它們有固定數(shù)量的參數(shù)，是否使用它們是一個需要思考的問題。然而，不同的神經(jīng)網(wǎng)絡(luò)在尋找f(x)的方法上有點不同。任何函數(shù)都可以用許多類似階梯的部分進(jìn)行合理的逼近，階梯越多，逼近就越準(zhǔn)確。

每層階梯都用一個神經(jīng)網(wǎng)絡(luò)來表示，它們是隱藏層中具有sigmoid激活函數(shù)的節(jié)點，sigmoid激活函數(shù)本質(zhì)上是概率階躍函數(shù)。本質(zhì)上，每個節(jié)點都被“分配”給f(x)的一部分。

然后通過權(quán)重和偏置系統(tǒng)，網(wǎng)絡(luò)可以決定節(jié)點的存在，使sigmoid函數(shù)的輸入值達(dá)到正無窮(輸出值為1)，如果對于特定的輸入值需要激活神經(jīng)元，則輸出值為負(fù)無窮。這種使用節(jié)點尋找數(shù)據(jù)函數(shù)特定部分的模式不僅可以在數(shù)字?jǐn)?shù)據(jù)中觀察到，在圖像中也可以。

雖然通用逼近定理已經(jīng)擴(kuò)大范圍到適用于其他激活函數(shù)，如ReLU和神經(jīng)網(wǎng)絡(luò)類型，但是其原理依然是正確的：神經(jīng)網(wǎng)絡(luò)是完美的。

神經(jīng)網(wǎng)絡(luò)不再依賴復(fù)雜的數(shù)學(xué)方程和關(guān)系系統(tǒng)，而是將自身的一部分委派給數(shù)據(jù)函數(shù)的一部分，并機(jī)械記憶其指定區(qū)域內(nèi)的歸納。當(dāng)這些節(jié)點聚合成一個巨大的神經(jīng)網(wǎng)絡(luò)時，結(jié)果看似是智能模型，實際上是設(shè)計巧妙的逼近器。

如果神經(jīng)網(wǎng)絡(luò)可以構(gòu)建——至少在理論上——一個精度符合你預(yù)期的函數(shù)(節(jié)點越多，逼近就越精確，當(dāng)然不考慮過擬合的技術(shù)性)，一個結(jié)構(gòu)正確的神經(jīng)網(wǎng)絡(luò)可以模擬其他任何算法的預(yù)測函數(shù)p(x)。對于其他任何機(jī)器學(xué)習(xí)算法來說，這是不可能的。

神經(jīng)網(wǎng)絡(luò)運用的方法不是優(yōu)化現(xiàn)有模型中的一些參數(shù)，如多項式曲線和節(jié)點系統(tǒng)，而是對數(shù)據(jù)建模的一種特定視角，它不尋求充分利用任何獨立系統(tǒng)，而是直接逼近數(shù)據(jù)函數(shù);我們?nèi)绱耸煜さ纳窠?jīng)網(wǎng)絡(luò)架構(gòu)僅僅是將思想進(jìn)行建模展現(xiàn)。

有了神經(jīng)網(wǎng)絡(luò)的力量和對于深度學(xué)習(xí)這一無底洞領(lǐng)域的持續(xù)研究，數(shù)據(jù)——無論是視頻、聲音、流行病學(xué)數(shù)據(jù)，還是任何介于兩者之間的數(shù)據(jù)——將能夠以前所未有的程度建模，神經(jīng)網(wǎng)絡(luò)確實是算法的算法。

本文轉(zhuǎn)載自微信公眾號「讀芯術(shù)」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系讀芯術(shù)公眾號。