前言

我們?cè)谟?xùn)練網(wǎng)絡(luò)的時(shí)候經(jīng)常會(huì)設(shè)置 batch_size，這個(gè) batch_size 究竟是做什么用的，一萬張圖的數(shù)據(jù)集，應(yīng)該設(shè)置為多大呢，設(shè)置為 1、10、100 或者是 10000 究竟有什么區(qū)別呢?

# 手寫數(shù)字識(shí)別網(wǎng)絡(luò)訓(xùn)練方法  
network.fit(  
train_images,  
train_labels,  
epochs=5,  
batch_size=128) 

批量梯度下降(Batch Gradient Descent，BGD)

梯度下降算法一般用來最小化損失函數(shù)：把原始的數(shù)據(jù)網(wǎng)絡(luò)喂給網(wǎng)絡(luò)，網(wǎng)絡(luò)會(huì)進(jìn)行一定的計(jì)算，會(huì)求得一個(gè)損失函數(shù)，代表著網(wǎng)絡(luò)的計(jì)算結(jié)果與實(shí)際的差距，梯度下降算法用來調(diào)整參數(shù)，使得訓(xùn)練出的結(jié)果與實(shí)際更好的擬合，這是梯度下降的含義。

批量梯度下降是梯度下降最原始的形式，它的思想是使用所有的訓(xùn)練數(shù)據(jù)一起進(jìn)行梯度的更新，梯度下降算法需要對(duì)損失函數(shù)求導(dǎo)數(shù)，可以想象，如果訓(xùn)練數(shù)據(jù)集比較大，所有的數(shù)據(jù)需要一起讀入進(jìn)來，一起在網(wǎng)絡(luò)中去訓(xùn)練，一起求和，會(huì)是一個(gè)龐大的矩陣，這個(gè)計(jì)算量將非常巨大。當(dāng)然，這也是有優(yōu)點(diǎn)的，那就是因?yàn)榭紤]到所有訓(xùn)練集的情況，因此網(wǎng)絡(luò)一定在向最優(yōu)(極值)的方向在優(yōu)化。

隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)

與批量梯度下降不同，隨機(jī)梯度下降的思想是每次拿出訓(xùn)練集中的一個(gè)，進(jìn)行擬合訓(xùn)練，進(jìn)行迭代去訓(xùn)練。訓(xùn)練的過程就是先拿出一個(gè)訓(xùn)練數(shù)據(jù)，網(wǎng)絡(luò)修改參數(shù)去擬合它并修改參數(shù)，然后拿出下一個(gè)訓(xùn)練數(shù)據(jù)，用剛剛修改好的網(wǎng)絡(luò)再去擬合和修改參數(shù)，如此迭代，直到每個(gè)數(shù)據(jù)都輸入過網(wǎng)絡(luò)，再從頭再來一遍，直到參數(shù)比較穩(wěn)定，優(yōu)點(diǎn)就是每次擬合都只用了一個(gè)訓(xùn)練數(shù)據(jù)，每一輪更新迭代速度特別快，缺點(diǎn)是每次進(jìn)行擬合的時(shí)候，只考慮了一個(gè)訓(xùn)練數(shù)據(jù)，優(yōu)化的方向不一定是網(wǎng)絡(luò)在訓(xùn)練集整體最優(yōu)的方向，經(jīng)常會(huì)抖動(dòng)或收斂到局部最優(yōu)。

小批量梯度下降(Mini-Batch Gradient Descent，MBGD)

小批量梯度下降采用的還是計(jì)算機(jī)中最常用的折中的解決辦法，每次輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練的既不是訓(xùn)練數(shù)據(jù)集全體，也不是訓(xùn)練數(shù)據(jù)集中的某一個(gè)，而是其中的一部分，比如每次輸入 20 個(gè)。可以想象，這既不會(huì)造成數(shù)據(jù)量過大計(jì)算緩慢，也不會(huì)因?yàn)槟骋粋€(gè)訓(xùn)練樣本的某些噪聲特點(diǎn)引起網(wǎng)絡(luò)的劇烈抖動(dòng)或向非最優(yōu)的方向優(yōu)化。

對(duì)比一下這三種梯度下降算法的計(jì)算方式：批量梯度下降是大矩陣的運(yùn)算，可以考慮采用矩陣計(jì)算優(yōu)化的方式進(jìn)行并行計(jì)算，對(duì)內(nèi)存等硬件性能要求較高;隨機(jī)梯度下降每次迭代都依賴于前一次的計(jì)算結(jié)果，因此無法并行計(jì)算，對(duì)硬件要求較低;而小批量梯度下降，每一個(gè)次迭代中，都是一個(gè)較小的矩陣，對(duì)硬件的要求也不高，同時(shí)矩陣運(yùn)算可以采用并行計(jì)算，多次迭代之間采用串行計(jì)算，整體來說會(huì)節(jié)省時(shí)間。

看下面一張圖，可以較好的體現(xiàn)出三種剃度下降算法優(yōu)化網(wǎng)絡(luò)的迭代過程，會(huì)有一個(gè)更加直觀的印象。

總結(jié)

梯度下降算法的調(diào)優(yōu)，訓(xùn)練數(shù)據(jù)集很小，直接采用批量梯度下降;每次只能拿到一個(gè)訓(xùn)練數(shù)據(jù)，或者是在線實(shí)時(shí)傳輸過來的訓(xùn)練數(shù)據(jù)，采用隨機(jī)梯度下降;其他情況或一般情況采用批量梯度下降算法更好。