沒有導師和經費，作為獨立研究員，我是如何成功投稿ICLR的？
- 2020 年 2 月 13 日
- 筆記
大數據文摘出品
來源：medium
編譯：楚陽、奧?vi丫、馬莉、李雷
沒有博士學位，沒有導師，沒有科研經驗。來自丹麥的Andreas Madsen在求職、申博屢屢失敗後，決心成為一個獨立研究員。
而就在2019年年底，他的論文被AI高峰會ICLR錄用，並被選為了會議的spotlight論文。
鹹魚翻身，Andreas的經歷不可謂不勵志，也令人遐想紛紛。
作為一個AI科研界的菜鳥，Andreas是如何一步步「上位」、征服高峰會的呢？他又為什麼會奉勸其他人不要做一個獨立研究員呢？
讓我們一起來讀一讀他的心路歷程。
為什麼要成為一個獨立研究員
2018年3月，我以獨立作者的身份在distill.pub上發表了《RNN中的可視化記憶機制》一文，闡述了NLP模型的互動式可視化，說明即使兩個模型具有很極其相似地準確率，其行為也可能大相徑庭。
文章鏈接：
https://distill.pub/2019/memorization-in-rnns/
我以為憑藉這些加上我機器學習的碩士學位足以證明我可以申請博士學位，或者可以勝任任何軟體研發工程師，Google高級實習計劃或機器學習工程師的職位。
於是給不同的教授寫信，並參加大大小小的公司應聘，Google、微軟、日本樂天、ElementAI、NVIDIA 、Hypefactors、英特爾、JD、亞馬遜、三星等等。
然而，我並沒有得到任何面試機會。
在Google應聘軟體研發工程師的時候，我甚至得到了一個高級研究員的推薦，他鼓勵我去他的部門面試並遞交了正式的推薦信。為保險起見，我還叫一個曾與我合作了很久的Google高級工程師也遞了推薦信。然而，我還是沒能得到面試機會，HR也沒有聯繫我。
殘酷現實：「你需要在AI高峰會上發表過1-2篇論文」
但是，我確實從一位教授那裡得到了這樣的回復：
「非常感謝您的郵件，寫得非常好。一般來說，如果您沒有在頂刊上發表過1到2篇文章的話，想要在我這獲得博士學位是有點困難的。不過您在Distill上發表的文章和您的從業經歷可以彌補這一點。然而，不幸的是，我這裡目前沒有合適您的職位。」——X大學的教授（X大學在QS榜上排名前100）
我的一個朋友，他認識另一所大學的學術委員會前成員，得到了如下說法：
「新政策要求頂級博士必須在頂級期刊上發表文章，如果你沒有在ACL、EMNLP、CVPR、ICCV、ICLR、NeurIPS 或者 ICML上發表過文章，那得到博士學位的可能性微乎其微。」——Y大學的委員會前成員（Y大學在QS榜上排名前5）
好吧，大部分郵件都沒有被回復。回復我的教授貌似都對我的申請不感興趣。我懷疑他們也要求1到2篇的頂刊論文，只不過他們不想承認，因為這種政策只對極少數幸運學生有利。在我讀碩士的大學裡，是絕對不被鼓勵發論文的。所以丹麥是一個獲得碩士學位的好地方。
要想申請博士學位，如果沒有內部推薦，你就得和半個博士一樣優秀。
就這樣吧。為了實現我從2011年就有的夢想，我需要發表1到2篇頂刊論文，於是我決定放手去干。我把2019年4月到2020年1月之間的時間全部奉獻給我的夢想——在NeurIPS 或者 ICLR上發表一篇文章。如果不成功，那我就去當JS程式設計師。
如何找到研究課題？如何在沒工作的情況下養活自己？這是我迄今為止被問得最多的問題了。當然，這確實是一個問題，但卻也很好解決。找到一個好想法的辦法很多，同樣，如果你沒有對別人承諾過什麼，也可以有很多方法輕鬆地節省開支。自然地過渡到「獨處但保持理智和擁有希望」的生活狀態，我的答案不會讓你失望的。
從2017年9月到2018年10月，我一直是一名自由職業者。直到我的一個朋友推薦我去了NearForm公司，我參與了一個名為clinic.js的項目，這個項目需要技術人員不僅有統計學背景，而且要對Node.js的內部結構和網路可視化有深入的了解。這個項目持續了6年，在這期間，我同時取得了機器學習的碩士學位。一切都是如此地完美，我的薪水很高，足以讓我過三四年簡樸的生活而無需工作。
生活問題貌似就這麼被輕而易舉地解決了。然而，不可否認的是，丹麥是一個消費水平很高的國家，在其他國家生活壓力可能要小一些。
2019年，我還參與了一個物聯網智慧手錶的TensorFlow部分開發，這個項目在node.js社區會議NodeConf EU 2019上發布，這或多或少又減輕了我的生活壓力。
如我所言，有很多辦法可以找到研究課題，不必太過拘泥，要發揮自己的創造力。
2019年2月，我參加了以前大學的AI學生社團開幕活動。我希望能和以前的導師談談博士學位的事，很不巧，他沒法幫我。
不過我遇到了助理研究員Alexander R Johansen，他正在找人合作。2019年3月下旬，我寫信給他；他解釋說，有幾名學生試圖重現DeepMind論文《NALU》的結果，但沒成功。因此他問我是否想研究這個課題，或許還可以寫一篇NeurIPS論文。
我的碩士論文以及在Distill發表的論文，都是對他人的工作進行批判性思考，這些工作或者被誇大，或者是誤導，然後對其進行改進。這些大都是圍繞「優化」問題，這是我比較熟悉的領域，所以我感覺自己可以做些事情。
幾乎所有論文對其研究結果都存在言過其實的情況，改進他人的工作是一個切實可行的研究策略。
研究課題有了！儘管這不是尋找課題的最佳策略，而且也伴隨著巨大挑戰，但這的確行之有效。
現在轉入正題吧！
孤軍奮戰，絕不喪失理智或希望
作為一名獨立研究員，你不能期待有來自他人的鼓勵。我知道，許多博士導師也不鼓勵他們的博士生，但他們最起碼可以得到處境相同的博士生同儕的鼓勵。對於一名獨立研究員而言，這幾乎不可能。
在撰寫論文時苦苦掙扎而得不到同行支援和鼓勵，這種痛苦是我不贊成成為獨立研究人員的第一個原因。
每個人都需要一點鼓勵，不要認為自己可以在沒有任何鼓勵的情況下能堅持7個月。一些問題一直縈繞我心頭：找不到優化方案，受到不公正的同行評議，得不到有用的結果，發現一個明顯漏洞……即使論文發表了，它也可能因為是個小眾課題而毫無影響。
在沒有資助的情況下進行7個月研究是非常大的冒險。如果論文沒發表，所有付出將是巨大浪費。作為一名獨立研究員，客觀地說，我的機會低於平均水平，僅僅因為我得到的回饋更少。
然而，儘管沒有同行的鼓勵，你可以做些其他嘗試：
- 我通常每周與Alexander見面，討論研究課題。儘管Alexander沒有博士學位，但他擅長批判性思維。我認為，與那些有多篇論文第一作者身份、或多年導師經驗的人討論是沒有必要的，最重要的是與敢質疑你工作的人討論。否則到最後，我們可能都變懶，對自己工作中的錯誤視而不見。與他人討論你的論文，不投機取巧，會給你帶來更大的壓力。
- 做些副業項目。把所有時間傾注在一件工作上風險很高。花些時間做些你認為有用的小項目，例如寫段開源工具程式等。這有助於你從研究中抽身出來休息一下，假如你的研究項目失敗了，你至少還做了一些事。以我為例，我的一些副業項目得到了知名研究人員的認可，這也是鼓勵的重要來源。
一個3天完成的副業項目
撰寫優異的論文
所有提交的論文中大概僅有20%能獲得發表，審稿人們會尋找各種理由拒絕你提交的論文。「還可以」是不夠的，你需要做到「優秀」！但你沒有導師幫助你，你也從來沒有提交過論文，那麼你怎樣才能真正實現「優秀」？
以我為例，我的第一篇論文發表在distill.pub雜誌上，回頭看看，這其實是非常幸運的。Distill注重論文是否「寫的好」，即是否有清晰的解釋和對別人有啟發，而不只是為了讓那些自己都寫不好文章的審稿人們通過。對我而言，為了解釋和啟發去寫作，比去迎合匿名審稿人們要容易得多，所以這是個好的開端。
但Distill編輯駁回了我的論文第一版稿。他們不明白我論文的目的是什麼，是批評Nested LSTM？還是提出了一種新的關於NLP任務「自動完成」的建議？又或者是互動式可視化？
因此，如果一篇論文中有1-2個資訊被誤解，會因編輯感到困惑而被拒。
為避免這種情況，不要害怕重複解釋這些資訊。這樣的話，再懶惰的審稿人也能理解。
進行了大量修改後，我再次向Distill提交了論文，這次他們的回饋更多。Distill的Chris Olah和 Ludwig Schubert在提交同業評議前給我提供了回饋，這對我的幫助很大。
最後，我想提一下，我花了幾天時間和Alexander在一起，打磨論文，他對我幫助非常大，尤其是寫文摘和引言時。
被NeurIPS2019拒絕
不幸的是，我們向NeurIPS 2019提交的論文被拒了。我感到非常傷心，所有的付出，一無所獲！夢想破碎，我似乎沒機會追求自己ML研究的夢想了。
自己的命運掌握在一群匿名的同業審稿人手裡是多麼奇怪呀。
為什麼會被拒？我的總結如下：
- 一些審稿人不相信我們成功重現了NALU的結論。他們反覆質疑「原論文的結果為什麼比你給的結果要好得多」。
- 一些審稿人要求我們重現NALU論文中聲稱可實現的每件事情，即使我們提供了清晰的證據表明，NALU模型無法圓滿地完成這些事。
第二點歸根到底是有些審稿人不相信我們的結論和重現，這也是對原論文的誇大進行改進時最難的部分。
審稿人很可能會站在已發表的論文一邊，他們只會批評你提交的論文，而不會批評之前發表的論文，尤其是當論文來自DeepMind的時候。
提交ICLR，大獲全勝
基於NeurIPS2019被拒，我們對論文進行了修改。提交給ICLR時，我們增加了更多證據和實驗來支援我們的論斷。
我們做了一件聰明事，就是發表我們關於NALU的實驗配置和重現結果，並作為NeurlIPS2019年SEDL研討會的研討會論文。我們發推，並@了NALU第一作者A. Trask，他回應稱：「太棒了！沒有好的基準，我們就無法改進。」這非常有幫助，因為我們不必為實驗配置和新模型爭論不休。相反，我們只需要集中精力討論我們建議改進的模型。
我希望這個做法能帶來很大改變，然而我只能相信我們是很幸運地遇到了一個出色的審稿人。此外，（ICLR的）OpenReview上的討論是公開的，這鼓勵了更優質的討論內容、更具有批判性思維的意見和辱罵性的評論的減少。
值得一提的是，我們得到4條評論，這對我來說意味著我們的論文相當吸引人。其中一位審稿人同時也在NeurIPS上審閱了我們的論文，可能是第三審稿人，他給了最具建設性的意見。在我們完成了所有修改之後，他將NeurIPS上的評級從Weak Reject改為Weak Accept，並最終將ICLR上的狀態改為Accept；他甚至對其他審稿人的想法評論道，「本論文的意義非凡。」
「我明白其他審稿人對本文所介紹之模型是增量模型存在擔憂，但我認為本文的優勢不僅僅在於模型本身，更在於通過全面的理論分析和實驗分析帶來改進，並保留了開源程式碼，這是原論文沒有做到的。本文很好地實踐了最近提出的模型，分析了它們的失敗之處，並記錄了分析和修復模型的詳細過程及基準。本文直面原始模型是否可再現的問題，並對該模型進行了大幅改進。這就是我認為本文絕對應該通過的原因。
我不知道本文提出的模型是否會在該領域產生重大改變，但是這種方法可能會影響並激發其他研究人員進行更深入地分析。
因此，我提高了我的打分，希望本文可以通過。」
——ICLR上的第四審稿人
https://openreview.net/forum?id=H1gNOeHKPS
讀到這條評論讓我感到非常高興。當時仍然有兩個Weak Rejects，因此仍有可能被拒。但是，即使我們被拒，至少我也會覺得這不是我的失敗，而是審查過程的失敗。
努力是否值得？
最後，我們的論文發表了。我希望這可以幫助我獲得一個研究崗位，但是說實話，我也不確定。我剛剛看到一所大學的電子郵件說，你需要「發表兩篇高峰會（最好是與知名合著者）文章，才能獲得頂尖博士學位的入讀資格」。這是我作為獨立研究員永遠都無法實現的目標。希望這只是那所大學的要求吧。
研究機器學習的道路對所有人來說都是漫長的。但是，如果你不去嘗試，你就一點機會都沒有。如果你確實願意嘗試，請花點時間看有沒有其他的路可以走，比如成為一個獨立研究員。
總結
最後，我想重複我對其他獨立研究員的幾條建議。
- 與他人合作。他們不一定是撰寫論文的專家，只要是可以對你的工作提出建設性意見的人就可以。在大學裡找一個可以使用大量計算資源的合作夥伴非常有必要。
- 接受失敗，但永不放棄嘗試。只有大約20％的論文會通過，而作為一名獨立研究員，你的機會可能低於平均水平。不要因為一次被拒而灰心。做一些兼職項目，這樣即使你失敗了，也不會感覺時間完全浪費了。
- 最好不要成為獨立研究員。如果你還有其他選擇，那就沒必要成為一名獨立研究員。也許你的碩士導師經常不管你，但至少你可以和其他讀博的同學交流。成為一名獨立研究員，你可能得不到任何支援。
相關報道：
https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b
