訓(xùn)練的神經(jīng)網(wǎng)絡(luò)不工作？一文帶你跨過這37個(gè)坑

作者：機(jī)器之心編譯 2017-08-01 07:34:04

近日，Slav Ivanov從四個(gè)方面(數(shù)據(jù)集、數(shù)據(jù)歸一化/增強(qiáng)、實(shí)現(xiàn)、訓(xùn)練)，對(duì)自己長(zhǎng)久以來的神經(jīng)網(wǎng)絡(luò)調(diào)試經(jīng)驗(yàn)做了 37 條總結(jié)，并穿插了不少出色的個(gè)人想法和思考，希望能幫助你跨過神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的 37 個(gè)大坑。

近日，Slav Ivanov 在 Medium 上發(fā)表了一篇題為《37 Reasons why your Neural Network is not working》的文章，從四個(gè)方面(數(shù)據(jù)集、數(shù)據(jù)歸一化/增強(qiáng)、實(shí)現(xiàn)、訓(xùn)練)，對(duì)自己長(zhǎng)久以來的神經(jīng)網(wǎng)絡(luò)調(diào)試經(jīng)驗(yàn)做了 37 條總結(jié)，并穿插了不少出色的個(gè)人想法和思考，希望能幫助你跨過神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的 37 個(gè)大坑。機(jī)器之心對(duì)該文進(jìn)行了編譯。

神經(jīng)網(wǎng)絡(luò)已經(jīng)持續(xù)訓(xùn)練了 12 個(gè)小時(shí)。它看起來很好：梯度在變化，損失也在下降。但是預(yù)測(cè)結(jié)果出來了：全部都是零值，全部都是背景，什么也檢測(cè)不到。我質(zhì)問我的計(jì)算機(jī)：「我做錯(cuò)了什么?」，它卻無法回答。

如果你的模型正在輸出垃圾(比如預(yù)測(cè)所有輸出的平均值，或者它的精確度真的很低)，那么你從哪里開始檢查呢?

無法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的原因有很多，因此通過總結(jié)諸多調(diào)試，作者發(fā)現(xiàn)有一些檢查是經(jīng)常做的。這張列表匯總了作者的經(jīng)驗(yàn)以及***的想法，希望也對(duì)讀者有所幫助。

一、數(shù)據(jù)集問題

1. 檢查你的輸入數(shù)據(jù)

檢查饋送到網(wǎng)絡(luò)的輸入數(shù)據(jù)是否正確。例如，我不止一次混淆了圖像的寬度和高度。有時(shí)，我錯(cuò)誤地令輸入數(shù)據(jù)全部為零，或者一遍遍地使用同一批數(shù)據(jù)執(zhí)行梯度下降。因此打印/顯示若干批量的輸入和目標(biāo)輸出，并確保它們正確。

2. 嘗試隨機(jī)輸入

嘗試傳遞隨機(jī)數(shù)而不是真實(shí)數(shù)據(jù)，看看錯(cuò)誤的產(chǎn)生方式是否相同。如果是，說明在某些時(shí)候你的網(wǎng)絡(luò)把數(shù)據(jù)轉(zhuǎn)化為了垃圾。試著逐層調(diào)試，并查看出錯(cuò)的地方。

3. 檢查數(shù)據(jù)加載器

你的數(shù)據(jù)也許很好，但是讀取輸入數(shù)據(jù)到網(wǎng)絡(luò)的代碼可能有問題，所以我們應(yīng)該在所有操作之前打印***層的輸入并進(jìn)行檢查。

4. 確保輸入與輸出相關(guān)聯(lián)

檢查少許輸入樣本是否有正確的標(biāo)簽，同樣也確保 shuffling 輸入樣本同樣對(duì)輸出標(biāo)簽有效。

5. 輸入與輸出之間的關(guān)系是否太隨機(jī)?

相較于隨機(jī)的部分(可以認(rèn)為股票價(jià)格也是這種情況)，輸入與輸出之間的非隨機(jī)部分也許太小，即輸入與輸出的關(guān)聯(lián)度太低。沒有一個(gè)統(tǒng)一的方法來檢測(cè)它，因?yàn)檫@要看數(shù)據(jù)的性質(zhì)。

6. 數(shù)據(jù)集中是否有太多的噪音?

我曾經(jīng)遇到過這種情況，當(dāng)我從一個(gè)食品網(wǎng)站抓取一個(gè)圖像數(shù)據(jù)集時(shí)，錯(cuò)誤標(biāo)簽太多以至于網(wǎng)絡(luò)無法學(xué)習(xí)。手動(dòng)檢查一些輸入樣本并查看標(biāo)簽是否大致正確。

7. Shuffle 數(shù)據(jù)集

如果你的數(shù)據(jù)集沒有被 shuffle，并且有特定的序列(按標(biāo)簽排序)，這可能給學(xué)習(xí)帶來不利影響。你可以 shuffle 數(shù)據(jù)集來避免它，并確保輸入和標(biāo)簽都被重新排列。

8. 減少類別失衡

一張類別 B 圖像和 1000 張類別 A 圖像?如果是這種情況，那么你也許需要平衡你的損失函數(shù)或者嘗試其他解決類別失衡的方法。

9. 你有足夠的訓(xùn)練實(shí)例嗎?

如果你在從頭開始訓(xùn)練一個(gè)網(wǎng)絡(luò)(即不是調(diào)試)，你很可能需要大量數(shù)據(jù)。對(duì)于圖像分類，每個(gè)類別你需要 1000 張圖像甚至更多。

10. 確保你采用的批量數(shù)據(jù)不是單一標(biāo)簽

這可能發(fā)生在排序數(shù)據(jù)集中(即前 10000 個(gè)樣本屬于同一個(gè)分類)。可通過 shuffle 數(shù)據(jù)集輕松修復(fù)。

11. 縮減批量大小

巨大的批量大小會(huì)降低模型的泛化能力(參閱：https://arxiv.org/abs/1609.04836)

二、數(shù)據(jù)歸一化/增強(qiáng)

12. 歸一化特征

你的輸入已經(jīng)歸一化到零均值和單位方差了嗎?

13. 你是否應(yīng)用了過量的數(shù)據(jù)增強(qiáng)?

數(shù)據(jù)增強(qiáng)有正則化效果(regularizing effect)。過量的數(shù)據(jù)增強(qiáng)，加上其它形式的正則化(權(quán)重 L2，中途退出效應(yīng)等)可能會(huì)導(dǎo)致網(wǎng)絡(luò)欠擬合(underfit)。

14. 檢查你的預(yù)訓(xùn)練模型的預(yù)處理過程

如果你正在使用一個(gè)已經(jīng)預(yù)訓(xùn)練過的模型，確保你現(xiàn)在正在使用的歸一化和預(yù)處理與之前訓(xùn)練模型時(shí)的情況相同。例如，一個(gè)圖像像素應(yīng)該在 [0, 1]，[-1, 1] 或 [0, 255] 的范圍內(nèi)嗎?

15. 檢查訓(xùn)練、驗(yàn)證、測(cè)試集的預(yù)處理

CS231n 指出了一個(gè)常見的陷阱：「任何預(yù)處理數(shù)據(jù)(例如數(shù)據(jù)均值)必須只在訓(xùn)練數(shù)據(jù)上進(jìn)行計(jì)算，然后再應(yīng)用到驗(yàn)證、測(cè)試數(shù)據(jù)中。例如計(jì)算均值，然后在整個(gè)數(shù)據(jù)集的每個(gè)圖像中都減去它，再把數(shù)據(jù)分發(fā)進(jìn)訓(xùn)練、驗(yàn)證、測(cè)試集中，這是一個(gè)典型的錯(cuò)誤。」此外，要在每一個(gè)樣本或批量(batch)中檢查不同的預(yù)處理。

三、實(shí)現(xiàn)的問題

16. 試著解決某一問題的更簡(jiǎn)易的版本。

這將會(huì)有助于找到問題的根源究竟在哪里。例如，如果目標(biāo)輸出是一個(gè)物體類別和坐標(biāo)，那就試著把預(yù)測(cè)結(jié)果僅限制在物體類別當(dāng)中(嘗試去掉坐標(biāo))。

17.「碰巧」尋找正確的損失

還是來源于 CS231n 的技巧：用小參數(shù)進(jìn)行初始化，不使用正則化。例如，如果我們有 10 個(gè)類別，「碰巧」就意味著我們將會(huì)在 10% 的時(shí)間里得到正確類別，Softmax 損失是正確類別的負(fù) log 概率： -ln(0.1) = 2.302。然后，試著增加正則化的強(qiáng)度，這樣應(yīng)該會(huì)增加損失。

18. 檢查你的損失函數(shù)

如果你執(zhí)行的是你自己的損失函數(shù)，那么就要檢查錯(cuò)誤，并且添加單元測(cè)試。通常情況下，損失可能會(huì)有些不正確，并且損害網(wǎng)絡(luò)的性能表現(xiàn)。

19. 核實(shí)損失輸入

如果你正在使用的是框架提供的損失函數(shù)，那么要確保你傳遞給它的東西是它所期望的。例如，在 PyTorch 中，我會(huì)混淆 NLLLoss 和 CrossEntropyLoss，因?yàn)橐粋€(gè)需要 softmax 輸入，而另一個(gè)不需要。

20. 調(diào)整損失權(quán)重

如果你的損失由幾個(gè)更小的損失函數(shù)組成，那么確保它們每一個(gè)的相應(yīng)幅值都是正確的。這可能會(huì)涉及到測(cè)試損失權(quán)重的不同組合。

21. 監(jiān)控其它指標(biāo)

有時(shí)損失并不是衡量你的網(wǎng)絡(luò)是否被正確訓(xùn)練的***預(yù)測(cè)器。如果可以的話，使用其它指標(biāo)來幫助你，比如精度。

22. 測(cè)試任意的自定義層

你自己在網(wǎng)絡(luò)中實(shí)現(xiàn)過任意層嗎?檢查并且復(fù)核以確保它們的運(yùn)行符合預(yù)期。

23. 檢查「冷凍」層或變量

檢查你是否無意中阻止了一些層或變量的梯度更新，這些層或變量本來應(yīng)該是可學(xué)的。

24. 擴(kuò)大網(wǎng)絡(luò)規(guī)模

可能你的網(wǎng)絡(luò)的表現(xiàn)力不足以采集目標(biāo)函數(shù)。試著加入更多的層，或在全連層中增加更多的隱藏單元。

25. 檢查隱維度誤差

如果你的輸入看上去像(k,H,W)= (64, 64, 64)，那么很容易錯(cuò)過與錯(cuò)誤維度相關(guān)的誤差。給輸入維度使用一些「奇怪」的數(shù)值(例如，每一個(gè)維度使用不同的質(zhì)數(shù))，并且檢查它們是如何通過網(wǎng)絡(luò)傳播的。

26. 探索梯度檢查(Gradient checking)

如果你手動(dòng)實(shí)現(xiàn)梯度下降，梯度檢查會(huì)確保你的反向傳播(backpropagation)能像預(yù)期中一樣工作。

四、訓(xùn)練問題

[[198463]]

27. 一個(gè)真正小的數(shù)據(jù)集

過擬合數(shù)據(jù)的一個(gè)小子集，并確保其工作。例如，僅使用 1 或 2 個(gè)實(shí)例訓(xùn)練，并查看你的網(wǎng)絡(luò)是否學(xué)習(xí)了區(qū)分它們。然后再訓(xùn)練每個(gè)分類的更多實(shí)例。

28. 檢查權(quán)重初始化

如果不確定，請(qǐng)使用 Xavier 或 He 初始化。同樣，初始化也許會(huì)給你帶來壞的局部最小值，因此嘗試不同的初始化，看看是否有效。

29. 改變你的超參數(shù)

或許你正在使用一個(gè)很糟糕的超參數(shù)集。如果可行，嘗試一下網(wǎng)格搜索。

30. 減少正則化

太多的正則化可致使網(wǎng)絡(luò)嚴(yán)重地欠擬合。減少正則化，比如 dropout、批規(guī)范、權(quán)重/偏差 L2 正則化等。在優(yōu)秀課程《編程人員的深度學(xué)習(xí)實(shí)戰(zhàn)》(http://course.fast.ai)中，Jeremy Howard 建議首先解決欠擬合。這意味著你充分地過擬合數(shù)據(jù)，并且只有在那時(shí)處理過擬合。

31. 給它一些時(shí)間

也許你的網(wǎng)絡(luò)需要更多的時(shí)間來訓(xùn)練，在它能做出有意義的預(yù)測(cè)之前。如果你的損失在穩(wěn)步下降，那就再多訓(xùn)練一會(huì)兒。

32. 從訓(xùn)練模式轉(zhuǎn)換為測(cè)試模式

一些框架的層很像批規(guī)范、Dropout，而其他的層在訓(xùn)練和測(cè)試時(shí)表現(xiàn)并不同。轉(zhuǎn)換到適當(dāng)?shù)哪Ｊ接兄诰W(wǎng)絡(luò)更好地預(yù)測(cè)。

33. 可視化訓(xùn)練

監(jiān)督每一層的激活值、權(quán)重和更新。確保它們的大小匹配。例如，參數(shù)更新的大小(權(quán)重和偏差)應(yīng)該是 1-e3。
考慮可視化庫(kù)，比如 Tensorboard 和 Crayon。緊要時(shí)你也可以打印權(quán)重/偏差/激活值。
尋找平均值遠(yuǎn)大于 0 的層激活。嘗試批規(guī)范或者 ELUs。

Deeplearning4j 指出了權(quán)重和偏差柱狀圖中的期望值：對(duì)于權(quán)重，一些時(shí)間之后這些柱狀圖應(yīng)該有一個(gè)近似高斯的(正常)分布。對(duì)于偏差，這些柱狀圖通常會(huì)從 0 開始，并經(jīng)常以近似高斯(這種情況的一個(gè)例外是 LSTM)結(jié)束。留意那些向 +/- ***發(fā)散的參數(shù)。留意那些變得很大的偏差。這有時(shí)可能發(fā)生在分類的輸出層，如果類別的分布不均勻。

檢查層更新，它們應(yīng)該有一個(gè)高斯分布。

34. 嘗試不同的優(yōu)化器

優(yōu)化器的選擇不應(yīng)當(dāng)妨礙網(wǎng)絡(luò)的訓(xùn)練，除非你選擇了一個(gè)特別糟糕的參數(shù)。但是，為任務(wù)選擇一個(gè)合適的優(yōu)化器非常有助于在最短的時(shí)間內(nèi)獲得最多的訓(xùn)練。描述你正在使用的算法的論文應(yīng)當(dāng)指定優(yōu)化器;如果沒有，我傾向于選擇 Adam 或者帶有動(dòng)量的樸素 SGD。

35. 梯度爆炸、梯度消失

檢查隱蔽層的***情況，過大的值可能代表梯度爆炸。這時(shí)，梯度截?cái)?Gradient clipping)可能會(huì)有所幫助。
檢查隱蔽層的激活值。Deeplearning4j 中有一個(gè)很好的指導(dǎo)方針：「一個(gè)好的激活值標(biāo)準(zhǔn)差大約在 0.5 到 2.0 之間。明顯超過這一范圍可能就代表著激活值消失或爆炸。」

36. 增加、減少學(xué)習(xí)速率