網路權重初始化方法總結（上）：梯度消失、梯度爆炸與不良的初始化

• 2019 年 11 月 7 日
• 筆記

部落格：blog.shinelee.me | 部落格園 | CSDN

前向傳播與反向傳播回顧

神經網路的訓練過程可以簡化成以下步驟，

1. 輸入預處理（feature scaling等）
2. 初始化網路weight和bias
3. 前向傳播，得到網路輸出
4. 計算損失函數，得到當前損失
5. 反向傳播，根據鏈式法則，逐層回傳得到損失函數對當前參數的偏導，根據梯度下降演算法對當前參數進行更新
6. 重複步驟3 4 5，直到損失不再減小，即收斂

一個簡單的前向傳播和反向傳播的示意圖如下，線性組合和非線性激活交替進行，線性組合層可以為全連接層或卷積層等，圖片來自鏈接，

梯度下降演算法的參數更新公式為，
[ W(t+1)=W(t)-eta frac{d C}{d W} ]
其中(C=J(W))為損失函數，即通過參數的偏導對參數進行更新。反向傳播時，由鏈式法則，偏導反向回傳，逐層計算損失函數對當前參數的偏導。對某個參數的偏導為一串因子的乘積，因子依次為損失函數對網路輸出的偏導、激活函數的偏導、線性組合的偏導、激活函數的偏導、線性組合的偏導……如下面所示（來自鏈接），這裡，損失為二分之LMS，用(C)表示，(z)為線性組合的輸出（激活層的輸入），(a)為激活層的輸出（線性組合的輸入），

仔細觀察上式，偏導為一串因子的乘積，因子中的每一項對乘積結果都有影響，有幾點需要注意，回傳時，

• 每個權重的偏導中含有一個共同的因子項，為損失函數對網路輸出的偏導
• 每經過一個激活層，就有一個激活函數偏導作為因子項，如(sigma'(z^L)=frac{partial a^L}{partial z^L})
• 對當前線性組合層的權重求偏導，含且只含一個當前層的輸入（前一層的輸出）作為因子項，如(a^{L-1})
• 每經過一個線性組合層（全連接層or卷積層），就有一個權重矩陣作為因子項，如(w^L)

所以，激活函數的偏導、權重矩陣、當前層的輸入（前一層的輸出），這些項的取值均會對偏導數產生影響，偏導數為這些因子項共同作用的結果，特別地，

• 若激活函數偏導為0，則權重偏導為0；
• 若前一層的輸出（當前層輸入）為0，則當前層權重的偏導為0；
• 若後一層的權重(w^L)為0，則當前層權重的偏導(frac{partial C}{partial {w^{L-1}}})為0；

直覺上，因子項連乘可能隱含潛在的問題：(0.25^{10} = 0.00000095367431640625)，(2^{10}=1024)。對於現在動輒幾十、成百、上千層的網路，這些因子項的取值範圍極大地影響著權重偏導的結果：小了，經過連續相乘，結果可能接近於0，大了，結果可能超過數據類型的上界。同時，網路的深度讓這個問題指數級地放大了。

梯度消失與梯度爆炸

梯度為偏導數構成的向量。

損失函數收斂至極小值時，梯度為0（接近0），損失函數不再下降。我們不希望在抵達極小值前，梯度就為0了，也不希望下降過程過於震蕩，甚至不收斂。梯度消失與梯度爆炸分別對應這2種現象，

梯度消失(vanishing gradients)：指的是在訓練過程中，梯度（偏導）過早接近於0的現象，導致（部分）參數一直不再更新，整體上表現得像損失函數收斂了，實際上網路尚未得到充分的訓練。

梯度爆炸（exploding gradients）：指的是在訓練過程中，梯度（偏導）過大甚至為NAN（not a number）的現象，導致損失劇烈震蕩，甚至發散(divergence)。

由上一節的分析可知，在梯度（偏導）計算中，主要的影響因素來自激活函數的偏導、當前層的輸入（前一層的輸出）、以及權重的數值等，這些因子連續相乘，帶來的影響是指數級的。訓練階段，權重在不斷調整，每一層的輸入輸出也在不斷變化，梯度消失和梯度爆炸可能發生在訓練的一開始、也可能發生在訓練的過程中。

因子項中當前層的輸入僅出現一次，下面著重看一下激活函數和權重的影響。

激活函數的影響

以Sigmoid和Tanh為例，其函數與導數如下（來自鏈接），

兩者的導數均在原點處取得最大值，前者為0.25後者為1，在遠離原點的正負方向上，兩者導數均趨近於0，即存在飽和區。

• 原點附近：從因子項連乘結果看，Tanh比Sigmoid稍好，其在原點附近的導數在1附近，如果激活函數的輸入均在0左右，偏導連續相乘不會很小也不會很大。而sigmoid就會比較糟糕，其導數最大值為0.25，連續相乘會使梯度指數級減小，在反向傳播時，對層數越多的網路，淺層的梯度消失現象越明顯。
• 飽和區：一旦陷入飽和區，兩者的偏導都接近於0，導致權重的更新量很小，比如某些權重很大，導致相關的神經元一直陷在飽和區，更新量又接近於0，以致很難跳出或者要花費很長時間才能跳出飽和區。

所以，一個改善方向是選擇更好的非線性激活函數，比如ReLU，相關激活函數如下圖所示，

ReLU只在負方向上存在飽和區，正方向上的導數均為1，因此相對更少地遭遇梯度消失，但梯度爆炸現象仍然存在。

權重矩陣的影響

假設激活函數為線性，就像ReLU的正向部分，導數全為1。則一個簡化版本的全連接神經網路如下圖所示，

假設權重矩陣均為(W)，前向傳播和反向傳播過程均涉及(W)（轉置）的反覆相乘，(t)步相當於(W^t)，若(W)有特徵值分解$W=V  diag(lambda)   V^{-1} $，簡單地，
[ W^t = (V diag(lambda) V^{-1})^t = V diag(lambda)^t V^{-1} ]
其中(diag(lambda))為特徵值對角矩陣，如果特徵值(lambda_i)不在1附近，大於1經過(t)次冪後會「爆炸」，小於1經過(t)次冪後會「消失」。

如果網路初始化時，權重矩陣過小或過大，則在網路訓練的初始階段就可能遭遇梯度消失或梯度爆炸，表現為損失函數不下降或者過於震蕩。

不良初始化

至此，一些權重不良初始化導致的問題就不難解釋了，

• 過小，導致梯度消失

• 過大，導致梯度爆炸

• 全常數初始化，即所有權重(W)都相同，則(z^{(2)}=W^1 x)相同，導致後面每一層的輸入和輸出均相同，即(a)和(z)相同，回到反向傳播的公式，每層的偏導相同，進一步導致每層的權重會向相同的方向同步更新，如果學習率只有一個，則每層更新後的權重仍然相同，每層的效果等價於一個神經元，這無疑極大限制了網路的能力。

  

• 特別地，全0初始化，根據上式，如果激活函數(g(0) = 0)，如ReLU，則初始狀態所有激活函數的輸入(z)和輸出(a)都為0，反向傳播時所有的梯度為0，權重不會更新，一直保持為0；如果激活函數(g(0) neq 0)，則初始狀態激活層的輸入為0，但輸出(aneq 0)，則權重會從最後一層開始逐層向前更新，改變全0的狀態，但是每層權重的更新方向仍相同，同上。

這幾種權重初始化方法對網路訓練過程的影響，可在Initializing neural networks進行可視化實驗，可觀察權重、梯度和損失的變化，美中不足的是隱藏層的激活函數只有ReLU，不能更換為Sigmoid、Tanh等，如下所示，

話說回來，所以我們需要好的網路初始化方法，以對反向傳播過程中的梯度有所控制。對反向傳播中梯度加以控制的方法，不止這裡提到的損失函數和權重初始化，還有梯度截斷（gradient clipping）、網路模型設計方面等方法，因為本文的重點在於權重初始化，對此按下不表。

那麼，合適的網路初始化方法是什麼呢？我們下回分解。

參考

• Initializing neural networks
• Deep Learning Best Practices (1) — Weight Initialization
• Complete Guide of Activation Functions
• Vanishing gradient problem
• deep learning book – optimization
• Danger of setting all initial weights to zero in Backpropagation