Dropout與Bagging

• 2021 年 1 月 8 日
• AI
• 深度學習

dropout相當於集成了很多個神經網絡的bagging方法.

• bagging是指用相同的數據訓練多個獨立的模型,最終的結果採用多個模型的投票或者平均的方法得到.
• 而dropout隨即丟棄一些神經元來改變網絡結構, 從而實現訓練不同神經網絡的目的. 在測試階段使用全部的神經元,相當於使用多個神經網絡進行投票融合.
• 雖然dropout訓練的各個神經網絡參數共享並不相互獨立,但是也可以看作近似的Bagging方法.