十張圖解釋機(jī)器學(xué)習(xí)的基本概念
在解釋機(jī)器學(xué)習(xí)的基本概念的時(shí)候，我發(fā)現(xiàn)自己總是回到有限的幾幅圖中。以下是我認(rèn)為最有啟發(fā)性的條目列表。
1. Test and training error: 為什么低訓(xùn)練誤差并不總是一件好的事情呢：ESL 圖2.11.以模型復(fù)雜度為變量的測(cè)試及訓(xùn)練錯(cuò)誤函數(shù)。
2. Under and overfitting: 低度擬合或者過(guò)度擬合的例子。PRML 圖1.4.多項(xiàng)式曲線(xiàn)有各種各樣的命令M，以紅色曲線(xiàn)表示，由綠色曲線(xiàn)適應(yīng)數(shù)據(jù)集后生成。
3. Occam’s razor
ITILA 圖28.3.為什么貝葉斯推理可以具體化奧卡姆剃刀原理。這張圖給了為什么復(fù)雜模型原來(lái)是小概率事件這個(gè)問(wèn)題一個(gè)基本的直觀的解釋。水平軸代表了可能的數(shù)據(jù)集D空間。貝葉斯定理以他們預(yù)測(cè)的數(shù)據(jù)出現(xiàn)的程度成比例地反饋模型。這些預(yù)測(cè)被數(shù)據(jù)D上歸一化概率分布量化。數(shù)據(jù)的概率給出了一種模型Hi,P(D|Hi)被稱(chēng)作支持Hi模型的證據(jù)。一個(gè)簡(jiǎn)單的模型H1僅可以做到一種有限預(yù)測(cè)，以P(D|H1)展示；一個(gè)更加強(qiáng)大的模型H2，舉例來(lái)說(shuō)，可以比模型H1擁有更加自由的參數(shù)，可以預(yù)測(cè)更多種類(lèi)的數(shù)據(jù)集。這也表明，無(wú)論如何，H2在C1域中對(duì)數(shù)據(jù)集的預(yù)測(cè)做不到像H1那樣強(qiáng)大。假設(shè)相等的先驗(yàn)概率被分配給這兩種模型，之后數(shù)據(jù)集落在C1區(qū)域，不那么強(qiáng)大的模型H1將會(huì)是更加合適的模型。
4. Feature combinations：
(1)為什么集體相關(guān)的特征單獨(dú)來(lái)看時(shí)無(wú)關(guān)緊要，這也是（2）線(xiàn)性方法可能會(huì)失敗的原因。從Isabelle Guyon特征提取的幻燈片來(lái)看。
5. Irrelevant features:
為什么無(wú)關(guān)緊要的特征會(huì)損害KNN，聚類(lèi)，以及其它以相似點(diǎn)聚集的方法。左右的圖展示了兩類(lèi)數(shù)據(jù)很好地被分離在縱軸上。右圖添加了一條不切題的橫軸，它破壞了分組，并且使得許多點(diǎn)成為相反類(lèi)的近鄰。
6. Basis functions
非線(xiàn)性的基礎(chǔ)函數(shù)是如何使一個(gè)低維度的非線(xiàn)性邊界的分類(lèi)問(wèn)題，轉(zhuǎn)變?yōu)橐粋€(gè)高維度的線(xiàn)性邊界問(wèn)題。Andrew Moore的支持向量機(jī)SVM(Support Vector Machine)教程幻燈片中有：一個(gè)單維度的非線(xiàn)性帶有輸入x的分類(lèi)問(wèn)題轉(zhuǎn)化為一個(gè)2維的線(xiàn)性可分的z=(x,x^2)問(wèn)題。
7. Discriminative vs. Generative:
為什么判別式學(xué)習(xí)比產(chǎn)生式更加簡(jiǎn)單：PRML 圖1.27.這兩類(lèi)方法的分類(lèi)條件的密度舉例，有一個(gè)單一的輸入變量x（左圖），連同相應(yīng)的后驗(yàn)概率（右圖）。注意到左側(cè)的分類(lèi)條件密度p(x|C1)的模式，在左圖中以藍(lán)色線(xiàn)條表示，對(duì)后驗(yàn)概率沒(méi)有影響。右圖中垂直的綠線(xiàn)展示了x中的決策邊界，它給出了最小的誤判率。
8. Loss functions:
學(xué)習(xí)算法可以被視作優(yōu)化不同的損失函數(shù)：PRML 圖7.5. 應(yīng)用于支持向量機(jī)中的“鉸鏈”錯(cuò)誤函數(shù)圖形，以藍(lán)色線(xiàn)條表示，為了邏輯回歸，隨著錯(cuò)誤函數(shù)被因子1/ln(2)重新調(diào)整，它通過(guò)點(diǎn)（0，1），以紅色線(xiàn)條表示。黑色線(xiàn)條表示誤分，均方誤差以綠色線(xiàn)條表示。
9. Geometry of least squares:
ESL 圖3.2.帶有兩個(gè)預(yù)測(cè)的最小二乘回歸的N維幾何圖形。結(jié)果向量y正交投影到被輸入向量x1和x2所跨越的超平面。投影y^代表了最小二乘預(yù)測(cè)的向量。
10. Sparsity:
為什么Lasso算法（L1正規(guī)化或者拉普拉斯先驗(yàn)）給出了稀疏的解決方案（比如：帶更多0的加權(quán)向量）：ESL 圖3.11.lasso算法的估算圖像(左)以及嶺回歸算法的估算圖像（右）。展示了錯(cuò)誤的等值線(xiàn)以及約束函數(shù)。分別的，當(dāng)紅色橢圓是最小二乘誤差函數(shù)的等高線(xiàn)時(shí)，實(shí)心的藍(lán)色區(qū)域是約束區(qū)域|β1| + |β2| ≤ t以及β12 + β22 ≤ t2。
原文鏈接： Deniz Yuret 翻譯： 伯樂(lè)在線(xiàn) - Boat
