深度學習前人的精度很高了如何創新?
- 2021 年 4 月 2 日
- 筆記
前言:
目前主流方向的模型基本都做到了很高的精度,你能想到的方法,基本上前人都做過了,並且還做得很好,因此越往後論文越來越難發,創新點越來越難找。
那如何尋找自己的創新點呢?如何在前人的基礎上改進呢?在本文將提供幾種思路。
思路
常見的思路我臨時給它們取了幾個名字:無事生非,後浪推前浪,推陳出新。
1. 在原始的數據集上加一些噪聲,例如隨機遮擋,或者調整飽和度什麼的,主要是根據具體的任務來增加噪聲或擾動,不可亂來。如果它的精度下降的厲害,那你的思路就來了,如何在有遮擋或有噪聲或其他什麼情況下,保證模型的精度。(無事生非)
2. 用它的模型去嘗試一個新場景的數據集,因為它原來的模型很可能是過擬合的。如果在新場景下精度下降的厲害,思路又有了,如何提升模型的泛化能力,實現在新場景下的高精度。(無事生非)
3. 思考一下它存在的問題,例如模型太大,推理速度太慢,訓練時間太長,收斂速度慢等。一般來說這存在一個問題,其他問題也是連帶着的。如果存在以上的問題,你就可以思考如何去提高推理速度,或者在儘可能不降低精度的情況下,大幅度減少參數量或者計算量,或者加快收斂速度。(後浪推前浪)
4. 考慮一下模型是否太複雜,例如:人工設計的地方太多,後處理太多,需要調參的地方太多。基於這些情況,你可以考慮如何設計一個end-to-end模型,在設計過程中,肯定會出現訓練效果不好的情況,這時候需要自己去設計一些新的處理方法,這個方法就是你的創新。(後浪推前浪)
5. 替換一些新的結構,引入一些其它方向的技術,例如transformer,特徵金字塔技術等。這方面主要是要多關注一些相關技術,前沿技術,各個方向的內容建議多關注一些。(推陳出新)
對於加噪聲或者隨機遮擋的問題,可以參考下面這篇《數據增強方法總結》
對於輕量化,或者加快推理速度,或者減少參數量等方面的方法,可以參考下面兩篇文章
本文來源於公眾號CV技術指南的技術總結系列,更多相關技術總結請掃描文末二維碼關注公眾號。
公眾號其它技術總結內容