nn的初始化技巧

• 2021 年 3 月 23 日
• AI

nn的初始化，类似打游戏中的初始装备，钱充的越多，初始的战斗力越强，后期刷怪刷宝比别人更快，而且不同的初始化方式很多时候会导致后续训练的效果。

这里提出一种简单的初始化调参方式：

1、使用不同的初始化方法，xavier，glorot，he_uniform等，可以把torch或tf.keras支持的各类初始化方式作为超参数；

2、不同的超参数多次进行随机初始化；

3、每一个初始化之后的网络都直接进行预测，计算评价指标

通过这种简单的方式，可以在相对合理的时间里找到最优的初始化方法。

当然这是一种局部贪心的思想，个人尝试过效果还是可以的，相对于充分训练要省时间多了。