机器学习知识点整理（三）
十一、深度学习基础
1.为什么必须在神经网络中引入非线性？
2.ReLU在零点不可导，那么在反向传播中怎么处理？
ReLU虽然在零点不可导，但是我们在做反向传播的计算时，对ReLu这个函数的导数分情况讨论，即ReLU在零点时人为地给它赋予一个导数，比如0或者1。例如在下面的ReLU的反向传播函数实现中，将ReLU在零点位置的导数设置为0。
3.ReLu有哪些优缺点
优点：
1). 使用 ReLU 的 SGD 算法的收敛速度比 sigmoid 和 tanh 快；
2.) 在 x > 0 上，不会出现梯度饱和，梯度消失的问题。
3.) 计算复杂度低，不需要进行指数运算，只要一个阈值（0）就可以得到激活值。
缺点：
1.) ReLU 的输出不是 0 均值的，它将小于 0 的值都置为 0; 使得所有参数的更新方
向都相同，导致了 ZigZag 现象。
2.) Dead ReLU Problem (ReLU 神经元坏死现象)：某些神经元可能永远不被激活，
导致相应参数永远不会被更新(在负数部分，梯度为 0)
3.) ReLU 不会对数据做幅度压缩，所以数据的幅度会随着模型层数的增加不断扩
张。
注： ZigZag 现象指的是，模型中所有的参数在一次梯度更新的过程中，更新方向相
同，即同为正或者同为负。这就导致了梯度更新图像呈现 Z 字形，进而导致梯度更新
效率比较低。
4.Batch Normalization解决了什么问题
5.
6.
7.
8.
9.
10.
11.
十二、CV
1.
2.
3.
4.
5.
6.
7.
8.
9.
