梯度消失（Vanishing Gradient）與梯度爆炸（Exploding Gradient）

梯度消失和梯度爆炸是深度神經網絡訓練中經常遇到的兩個重要問題，尤其是在訓練較深的網絡時。這兩個問題都會影響網絡的訓練效率，甚至導致訓練失敗。下面小A將詳細講解這兩個問題。

一. 梯度消失

概念

梯度消失是指在訓練深度神經網絡時，反向傳播過程中的梯度逐漸變小，最終導致梯度接近于零的現象。這使得神經網絡的權重更新非常緩慢，甚至導致某些層的權重根本不更新，影響網絡的訓練效果。

原因

梯度消失通常發生在以下情況：

1. 激活函數的選擇：

• 使用Sigmoid或Tanh等激活函數時，特別是在輸入非常大或非常小時，它們的梯度值會非常小，接近0。
• 對于深層網絡，梯度在每一層都通過鏈式法則相乘，導致逐層減少，最終可能會變得非常小，幾乎為零。

2. 網絡層數過深：

• 當網絡非常深時，梯度在傳播過程中可能會變得非常小，尤其是在反向傳播時，梯度會一層一層地傳遞，導致某些層的梯度幾乎消失。

3. 梯度在小值區域被壓縮：

• 激活函數（如Sigmoid、Tanh）的導數值在輸入接近其極限值時非常小。例如，在Sigmoid的極端值（遠大于0或小于0）時，函數值接近0或1，而其導數會非常小，這會導致梯度逐漸消失。

舉例分析：

假設一個多層神經網絡，其中每層的激活函數為Sigmoid。對于每一層，Sigmoid的導數為：

σ′(x)=σ(x)(1?σ(x))

當輸入x非常大或非常小時，σ(x)接近0或1，這意味著σ′(x)的值非常小（接近于0）。反向傳播時，鏈式法則要求將每一層的梯度相乘。如果梯度已經很小，再繼續相乘會使梯度變得更小，直到最后幾層的梯度幾乎為零。

舉例：梯度消失

假設我們有一個深度神經網絡，使用Sigmoid激活函數。假設第一層的輸出為非常大的值（例如1000），那么Sigmoid的輸出接近1，導數值接近0。這意味著第二層的梯度會非常小，反向傳播到第一層時，梯度會變得更小，直到接近0，無法有效地更新權重。

表現

• 訓練速度變慢：梯度消失導致權重更新非常緩慢，訓練過程可能非常慢。
• 無法訓練深層網絡：如果梯度在反向傳播時消失，那么網絡的早期層（靠近輸入層的部分）就無法獲得有效的梯度更新，導致網絡無法學習。

二. 梯度消失

概念

梯度爆炸是指在訓練深度神經網絡時，反向傳播過程中，梯度的值變得異常大，導致參數更新過大，甚至出現溢出的現象。這個問題會導致網絡的訓練變得不穩定，甚至無法收斂。

原因

梯度爆炸通常發生在以下情況：

1. 權重初始化不當：

• 如果神經網絡的權重初始化得過大，特別是在深度網絡中，梯度會逐層放大，導致梯度爆炸。

2. 激活函數的選擇：

• 使用ReLU等激活函數時，在正區間的梯度為1，如果網絡非常深，反向傳播時梯度可能會逐漸放大，從而導致梯度爆炸。

3. 深層網絡：

• 網絡的深度越大，反向傳播時梯度乘積的累積效應越明顯。某些情況下，如果每一層的梯度都很大，最終可能導致梯度爆炸。

數學分析

在反向傳播過程中，如果每一層的梯度大于1，那么梯度就會在每一層乘積后變得越來越大。如果網絡深度非常大，梯度會變得極其龐大，從而導致梯度爆炸。具體地，當神經網絡每一層的梯度為常數時，梯度就可能呈指數增長。

舉例：梯度爆炸

假設我們有一個使用ReLU激活函數的深度神經網絡，且網絡的每一層的梯度都大于1。在這種情況下，當梯度通過每一層傳遞時，梯度值會被不斷放大。假如第一層的梯度是1.2，第二層的梯度是1.3，依此類推，經過多層后，梯度可能會爆炸，導致訓練過程無法繼續進行。

表現

• 訓練不穩定：損失函數值會劇烈波動，無法穩定收斂。
• NaN值：由于梯度過大，權重更新過大，可能導致數值溢出，導致權重變成NaN（Not a Number）。
• 權重過大：權重更新得過快，可能導致訓練過程中權重變得異常大，影響模型的穩定性。

如何避免梯度消失與梯度爆炸？

避免梯度消失

• 使用ReLU激活函數：ReLU和它的變種（Leaky ReLU、PReLU）可以避免梯度消失問題，因為它們在正區間的梯度為1，不容易出現梯度消失。
• 使用適當的權重初始化：采用He初始化（對于ReLU激活函數）或Xavier初始化（對于Sigmoid和Tanh激活函數），可以幫助避免梯度消失。
• Batch Normalization：通過對每一層的輸入進行標準化，減小了梯度消失的風險。
• 較小的學習率：適當減小學習率，減少訓練過程中權重更新的劇烈波動。

避免梯度爆炸

• 梯度裁剪（Gradient Clipping）：通過設置一個閾值，限制梯度的最大值，防止梯度過大。
• 權重初始化：合理的權重初始化（如He初始化或Xavier初始化）有助于避免梯度爆炸。
• 較小的學習率：使用較小的學習率可以防止每次權重更新過大，減少梯度爆炸的風險。
• 使用合適的激活函數：如Sigmoid、Tanh等激活函數在某些情況下可以限制梯度的范圍，減少梯度爆炸。

總結：

• 梯度消失是指梯度在反向傳播過程中逐漸變小，最終導致無法更新網絡的權重。它通常發生在深層網絡中，尤其是使用Sigmoid或Tanh等激活函數時。
• 梯度爆炸是指梯度在反向傳播過程中變得異常大，導致網絡的訓練不穩定。它通常發生在使用ReLU等激活函數時，或者網絡深度過大時。

為了避免這兩個問題，可以通過選擇合適的激活函數、使用合適的權重初始化方法、合理設置學習率和使用梯度裁剪等技術來緩解這些問題。

本文轉載自 ??人工智能訓練營??，作者： 小A學習