聚焦遷移學習反向傳播缺陷，百度資深工程師帶來全新 ICML 工作分享
- 2020 年 7 月 23 日
- AI
CV 在前，NLP 在後，遷移學習技術的應用為這兩個領域所帶來的進展和突破，不可謂不矚目。
其中，預訓練模型作為當下遷移學習的一種主流方法，讓「從零開始訓練一個新模型」的時代一去不復返。這類在大型數據集上訓練好的模型進行微調後，便能夠較好地適配類似的新目標任務，可以極大地節約時間和成本。
不過，天下沒有免費的午餐，這種方法看似「一勞永逸」，也需要付出一定的代價，其中的一大問題便是，由於反向傳播帶給深層卷積層的更新較小，微調得到的模型往往被「吸引」在預訓練模型附近，無法得到充分更新。
對此，百度的一篇 ICML 2020工作《RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr》，提出了一種簡單有效的策略RIFLE，通過周期性的重新初始化全連接層，給深層的特徵提取網路帶來有意義的更新，提升低層次特徵的學習，從而顯著提升遷移學習的效果。 
論文地址：//proceedings.icml.cc/static/paper_files/icml/2020/3745-Paper.pdf
開源地址：//github.com/haozhe-an/RIFLE-Paddle-Implementation
基於PaddlePaddle的實現：//github.com/haozhe-an/RIFLE-Paddle-Implementation
據悉，該方法已超過已有同類方法如 Dropout、Dropconnect、Stochastic Depth、 Disturb Label以及Cyclic Learning Rate 等，在多個數據集上的效果提升0.5%-2%。
為了深度解析這項工作背後的演算法原理以及應用效果，AI 科技評論特別邀請到了論文一作、百度大數據實驗室資深工程師李興建，來做論文直播分享！
時間就定在7月24日 20:00整，各位同學記得準時收看~
分享主題：RIFLE演算法：通過重新初始化全連接層加深遷移學習中的梯度反向傳播
分享嘉賓：李興建，百度大數據實驗室資深工程師，多年自然語言處理、深度學習、遷移學習等領域工作經驗
分享時間：7月24日（周五晚） 20:00整
分享背景：
基於一個預訓練的深度學習模型進行微調，成為一種主流的遷移學習方式。該方法雖然簡單有效，但微調得到的模型經常被『吸引』在預訓練模型附近，無法得到充分更新。我們的工作提出一種簡單有效的策略RIFLE，通過周期性的重新初始化全連接層，給深層的特徵提取網路帶來有意義的更新，提升低層次特徵的學習。
分享提綱：
深度遷移學習簡介和RIFLE演算法提出的動機
演算法流程
演算法效果及討論
二層網路模擬實驗
如何加入？
掃碼關注[ AI研習社高峰會小助手] 微訊號，發送關鍵字「ICML 2020+直播」，即可進群觀看直播和獲取課程資料。
