電腦視覺中的細節問題(四)

• 2019 年 11 月 5 日
• 筆記

(1)、神經元死亡原因？

隨著訓練的進行，可能會出現神經元死亡，權重無法更新的情況。這種神經元的死亡是不可逆轉的死亡。訓練神經網路的時候，一旦學習率沒有設置好，第一次更新權重的時候，輸入是負值，那麼這個含有ReLU的神經節點就會死亡，再也不會被激活。因為：ReLU的導數在x>0的時候是1，在x<=0的時候是0。如果x<=0，那麼ReLU的輸出是0，那麼反向傳播中梯度也是0，權重就不會被更新，導致神經元不再學習。也就是說，這個ReLU激活函數在訓練中將不可逆轉的死亡，導致了訓練數據多樣化的丟失。在實際訓練中，如果學習率設置的太高，可能會發現網路中40%的神經元都會死掉，且在整個訓練集中這些神經元都不會被激活。所以，設置一個合適的較小的學習率，會降低這種情況的發生。為了解決神經元節點死亡的情況，有人提出了Leaky ReLU、P-ReLu、R-ReLU、ELU等激活函數。

(2)、立體匹配和語義分割出現的兩個metric

• pixel error：

預測錯誤的像素點的個數除以總像素個數。對於二進位的labels，歐式距離和漢明距離結果相同。

優點：簡單

缺點：過分敏感，可能已經到達了較好的分割效果，卻有很大的pixel error。

• warping error：

是一種segmention metric，基於數字拓撲領域概念，比較邊界標籤的另一種指標。當pixel error很大當分割效果更好可以引入warping error，主要用來衡量分割目標的拓撲形狀效果。