譯者 | 布加迪

審校 | 孫淑娟

眾所周知，深度學(xué)習(xí)模型對(duì)數(shù)據(jù)的需求量很大。為深度學(xué)習(xí)模型提供的數(shù)據(jù)越多，它們的表現(xiàn)就越好。遺憾的是，在大多數(shù)實(shí)際情形下，這是不可能的。您可能沒(méi)有足夠的數(shù)據(jù)，或者數(shù)據(jù)過(guò)于昂貴而無(wú)法收集。

本文將討論在不用更多數(shù)據(jù)的情況下改進(jìn)深度學(xué)習(xí)模型的四種方法。

為什么深度學(xué)習(xí)需要這么多數(shù)據(jù)？

深度學(xué)習(xí)模型之所以引人注目，是由于它們可以學(xué)習(xí)了解復(fù)雜的關(guān)系。深度學(xué)習(xí)模型包含多個(gè)層。每一層都學(xué)習(xí)了解復(fù)雜性逐步遞增的數(shù)據(jù)表示。第一層可能學(xué)習(xí)檢測(cè)簡(jiǎn)單的模式，比如邊緣。第二層可能學(xué)習(xí)查看這些邊緣的模式，比如形狀。第三層可能學(xué)習(xí)識(shí)別由這些形狀組成的對(duì)象，依此類(lèi)推。

每層由一系列神經(jīng)元組成，它們又連接到前一層中的每個(gè)神經(jīng)元。所有這些層和神經(jīng)元意味著有大量參數(shù)需要優(yōu)化。所以好的方面是深度學(xué)習(xí)模型擁有強(qiáng)大的功能。但不好的方面意味著它們?nèi)菀走^(guò)擬合。過(guò)擬合是指模型在訓(xùn)練數(shù)據(jù)中捕捉到過(guò)多的干擾信號(hào)，無(wú)法適用于新數(shù)據(jù)。

有了足夠的數(shù)據(jù)，深度學(xué)習(xí)模型可以學(xué)習(xí)檢測(cè)非常復(fù)雜的關(guān)系。不過(guò)，如果您沒(méi)有足夠的數(shù)據(jù)，深度學(xué)習(xí)模型將無(wú)法理解這些復(fù)雜的關(guān)系。我們必須有足夠的數(shù)據(jù)，那樣深度學(xué)習(xí)模型才能學(xué)習(xí)。

但是如果不太可能收集更多的數(shù)據(jù)，我們有幾種技術(shù)可以克服。

1. 遷移學(xué)習(xí)有助于用小數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)模型。

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，您可以拿來(lái)針對(duì)一個(gè)問(wèn)題訓(xùn)練的模型，將其用作解決相關(guān)的不同問(wèn)題的起點(diǎn)。

比如說(shuō)，您可以拿來(lái)針對(duì)龐大狗圖像數(shù)據(jù)集訓(xùn)練的模型，并將其用作訓(xùn)練模型以識(shí)別狗品種的起點(diǎn)。

但愿第一個(gè)模型學(xué)到的特征可以被重用，從而節(jié)省時(shí)間和資源。至于兩種應(yīng)用有多大不同，沒(méi)有相應(yīng)的經(jīng)驗(yàn)法則。但是，即使原始數(shù)據(jù)集和新數(shù)據(jù)集大不相同，照樣可以使用遷移學(xué)習(xí)。

比如說(shuō)，您可以拿來(lái)針對(duì)貓圖像訓(xùn)練的模型，并將其用作訓(xùn)練模型以識(shí)別駱駝?lì)愋偷钠瘘c(diǎn)。但愿在第一個(gè)模型中找出四條腿的功能可能有助于識(shí)別駱駝。

想進(jìn)一步了解遷移學(xué)習(xí)，可以參閱??《自然語(yǔ)言處理的遷移學(xué)習(xí)》???。如果您是Python程序員，可能還會(huì)發(fā)覺(jué)??《使用Python實(shí)際動(dòng)手遷移學(xué)習(xí)》??很有幫助。

2. 嘗試數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是一種技術(shù)，您可以拿現(xiàn)有數(shù)據(jù)生成新的合成數(shù)據(jù)。

比如說(shuō)，如果您有一個(gè)狗圖像數(shù)據(jù)集，可以使用數(shù)據(jù)增強(qiáng)來(lái)生成新的狗圖片。您可以通過(guò)隨機(jī)裁剪圖像、水平翻轉(zhuǎn)、添加噪點(diǎn)及其他幾種技術(shù)做到這一點(diǎn)。

如果您有一個(gè)小數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)大有益處。通過(guò)生成新數(shù)據(jù)，可以人為地增加數(shù)據(jù)集的大小，為您的深度學(xué)習(xí)模型提供更多可使用的數(shù)據(jù)。

這些??關(guān)于深度學(xué)習(xí)的講義??有助于您深入了解數(shù)據(jù)增強(qiáng)。

3. 使用自動(dòng)編碼器

自動(dòng)編碼器是一種用于學(xué)習(xí)低維度數(shù)據(jù)表示的深度學(xué)習(xí)模型。

當(dāng)您有一個(gè)小數(shù)據(jù)集時(shí)，自動(dòng)編碼器很有用，因?yàn)樗鼈兛梢詫W(xué)習(xí)將您的數(shù)據(jù)壓縮到低維度空間中。

有許多不同類(lèi)型的自動(dòng)編碼器。變分自動(dòng)編碼器（VAE）是一種流行的自動(dòng)編碼器。VAE 是一種生成式模型，這意味著它們可以生成新數(shù)據(jù)。這大有幫助，因?yàn)槟梢允褂肰AE生成類(lèi)似于訓(xùn)練數(shù)據(jù)的新數(shù)據(jù)點(diǎn)。這是增加數(shù)據(jù)集大小而無(wú)需實(shí)際收集更多數(shù)據(jù)的好方法。

原文標(biāo)題：??How to Improve Deep Learning Models With Small Datasets??