计算机视觉中的细节问题(四)

• 2019 年 11 月 5 日
• 笔记

(1)、神经元死亡原因？

随着训练的进行，可能会出现神经元死亡，权重无法更新的情况。这种神经元的死亡是不可逆转的死亡。训练神经网络的时候，一旦学习率没有设置好，第一次更新权重的时候，输入是负值，那么这个含有ReLU的神经节点就会死亡，再也不会被激活。因为：ReLU的导数在x>0的时候是1，在x<=0的时候是0。如果x<=0，那么ReLU的输出是0，那么反向传播中梯度也是0，权重就不会被更新，导致神经元不再学习。也就是说，这个ReLU激活函数在训练中将不可逆转的死亡，导致了训练数据多样化的丢失。在实际训练中，如果学习率设置的太高，可能会发现网络中40%的神经元都会死掉，且在整个训练集中这些神经元都不会被激活。所以，设置一个合适的较小的学习率，会降低这种情况的发生。为了解决神经元节点死亡的情况，有人提出了Leaky ReLU、P-ReLu、R-ReLU、ELU等激活函数。

(2)、立体匹配和语义分割出现的两个metric

• pixel error：

预测错误的像素点的个数除以总像素个数。对于二进制的labels，欧式距离和汉明距离结果相同。

优点：简单

缺点：过分敏感，可能已经到达了较好的分割效果，却有很大的pixel error。

• warping error：

是一种segmention metric，基于数字拓扑领域概念，比较边界标签的另一种指标。当pixel error很大当分割效果更好可以引入warping error，主要用来衡量分割目标的拓扑形状效果。