Google大腦高級研究科學家：我的六年機器學習博士生涯總結
機器學習讀博是什麼體驗？期間遇到的挫折與挑戰又要如何應對？
在ML領域小有名氣的青年科學家Maithra Raghu總結了自己在六年讀博經歷中所汲取的經驗與教訓，希望能夠對正在/將要攻讀機器學習博士學位的學生有所幫助。
Maithra Raghu於2020年從康奈爾大學畢業，獲得CS博士學位。在Maithra讀博的六年里，機器學習領域的研究參與人員越來越多（2014年NeurIPS的投稿者大約是兩千人，2020年已達到兩萬人），而Maithra本人也在機器學習領域取得了重大進步。
Maithra曾在2019年當選「福布斯30位30歲以下科學精英排行榜」，2018年被評為「MIT EECS Rising Stars」，主要研究領域為深度學習與醫療的結合。目前，Maithra Raghu在Google大腦擔任高級研究科學家。
讀博前的期望
對於許多選擇讀博（尤其是本科畢業後直接讀博）的人來說，博士生涯並不能被稱得上愉快，但Maithra認為，博士學習就像一段「旅行」。一般來說，完成ML博士學習需要5到6年，在這個學習過程中，你不僅可以學習到ML領域的研究技巧與知識，還可以根據自己的興趣決定你所想要研究的問題，探索ML不同子領域的魅力，更能接收到學術界/產業界/政策/非營利組織的不同研究成果等。
不斷變化的個人喜好將影響你在讀博期間決定從事的研究工作，甚至影響你之後所選擇的博士後職業道路。不過，尤其是在博士學習剛開始時，個人研究興趣如何演變是很難預測的。就Maithra個人而言，在剛開始讀博時，她認為自己是要進入工業界的，讀博期間又考慮從事學術研究，讀博後期卻又堅決地拒絕了學術界的offer，決定留在工業界做研究。因此，她認為，讀博可以一步一步來，最重要的是充分利用讀博期間的學習/研究/社交經驗，而不是實現某項預期目標。目標也許會變，但沒必要糾結，免得給自己帶來不必要的壓力。
讀博期間的普遍挑戰
攻讀博士學位（尤其是ML博士）能夠為個人帶來巨大的收穫，使你有機會為基礎科學理解與重大的技術應用做出貢獻。但是，讀博所需的時長，以及讀博期間的各種不確定性，使讀博充滿挑戰。Maithra的讀博生涯也是坎坷不斷，常常感到孤獨、受挫，或因為急於求成而把自己壓垮。這些現象在讀博群體中十分常見。作為過來人，Maithra分享了自己的一些經驗與策略：
讀博時的一個普遍挑戰是：某個項目或研究過程受阻，陷入僵局，無法繼續進行下去。
如果你很努力地推進某個項目，但沒有取得任何進展，那麼你可以嘗試：
-
資料整理：搜集所有實驗結果、數學方法、隨手記錄研究動機的筆記等等，並花點時間將這些資訊彙集起來，嘗試寫一篇文章。這個過程可以幫助你了解目前研究所處的位置，以及當下研究狀態與研究目標的差距在哪裡。
-
中心點：如果是項目的某個部分無法正常運作，那麼是否可以重新確定研究問題（也許是從相關工作中汲取靈感），以使研究更容易進行呢？
-
建立聯繫：當前項目所關注的領域與其他研究領域之間是否存在聯繫？可以在這個研究項目中探索這種聯繫嗎？這既可以幫助推進研究，也可以使項目與其他領域產生更廣泛的聯繫。
-
獲得論文回饋：從研究同行、合作者和朋友那裡獲得關於項目論文的回饋也可能會有所幫助。他們也許能夠提供新的觀點或改進建議。
-
參加Workshop：把論文提交到Workshop也有用。這個方法也能幫助整合所有研究結果，並獲得有用的回饋。（Maithra提到，她從機器學習會議上的workshop中獲得了許多收益，因為她可以討論/獲取有關當前方向的回饋，並見到同一領域的其他研究人員。）
-
及時止損：有時候，一個項目在剛開始時前景很好，但很難正常運行，項目本身對重新建立框架，或與其他領域建立聯繫都具有挑戰性。在這張情況下，最好的方法也許是迅速中止項目，轉到其他研究。如果之前的項目已經取得部分成果，可以針對這些成果撰文並進行分享，取得合作者的同意與最終回饋，將論文發表為arXiv預引文或Workshop論文。
如果你不是被某個特定的項目困擾，而是對研究過程感到不知所措，那麼可能是因為你覺得研究成熟度，尤其是自己的研究水平，很難衡量。在讀博中途，Maithra開始從事醫療應用的研究，但在了解這個領域與撰寫論文上的進展都很慢。為此，她感到很迷茫、沮喪。後來，她重新讀了一遍她在博士初始階段所完成的文章，發現她對論文結果的深度與背景的了解與之前的情況截然不同。
衡量研究成熟度的幾個關鍵指標，如了解研究結果背後更廣泛的背景，在不同領域之間建立聯繫，迅速定位你所研究的子領域的重要成果等等，並無法迅速轉化為有形的產出（如形成更多論文）。但是，這些指標對成為具有豐富研究視野的獨立研究人員至關重要，這也是博士生涯的主要研究目標。而且，如果你一直閱讀論文，了解你的研究領域並親自決定你的研究方向，包括教學/指導學生等，那麼你是很有可能在這些方面取得重要進步的。
機器學習是一個充滿活力、節奏快的領域，很容易被大量新論文、新預印論文、新部落格文章、新實現、新框架等等淹沒。
如何掌握機器學習領域的最新動態呢？Maithra的策略如下：
1、掌握能夠快速查找相關論文的參考鏈接：比如訂閱arXiv上的stat.ML cs.LG郵件列表，arXiv-sanity，推特，或者是reddit / MachineLearning，paperswithcode和 Semantic Scholar/ Google Scholar等。
2、做一個論文閱讀清單：列出你所發現的有趣的、但暫時沒有時間閱讀的論文，等有時間再回去閱讀。
3、制定一個論文閱讀策略：如果一篇論文與你正在積極研究的方向非常接近，那就詳細閱讀；如果相關度不大，那就讀一下摘要，截取幾張重要的照片。
4、偶爾讀一下其他領域的論文（可能一年一次），看看其他領域正在研究的內容。
還有兩個比較有幫助的點是記住：（1）每個人都會對論文發表的概率感到著急；（2）許多論文也許都是基於一個相同的基本思想，只要掌握這一個思想，就能跟上整個領域的發展。
讀博期間的另一個共同挑戰是與孤獨作鬥爭。Maithra談到，在攻讀博士學位的前幾年，有些項目要求她將精力集中在非常狹窄的某些問題上，這些問題也非常耗費精力，並且看起來似乎永遠也完成不了。在這些時期，你會感到與其他研究人員和領域完全割裂。
廣泛而言，這種情況在博士早期比較常見，因為那時你正開始學習如何從頭到尾進行一個研究項目，但與此同時，你與其他研究人員/領域的聯繫卻很少。與研究領域/社交群體保持聯繫，可以確保你不會感到被孤立。你可以：（1）與高年級的學生/博士後建立合作；（2）從導師/實驗室/其他同僚等方面獲得你所取得的工作進步的回饋；（3）積极參与其他社交圈，無論是參會，指導學生還是組織workshop等。
3個有用技能
在討論了讀博期間面臨的一些常見挑戰以及解決這些挑戰的方法後，下文將介紹一些有利於取得研究進展的注意事項。
Maithra發現，在讀博期間，個人身上的三個技能非常有用：主動性、專註力和毅力。
與本科學習相比，Maithra發現，讀博期間的一個明顯不同點是博士生需要採取主動行動。所謂主動，可以是閱讀重要的相關論文，對不同方法的可行性進行快速的初步研究，與進行相關研究的同行交談 ，還可以是參加會議，並成為會議的積極活躍分子。由於博士學位的完成時間不確定，所以論文的生產力在很大程度上是取決於你學習和進行研究的主動性。
此外，Maithra認為，在開始新的研究方向時，專註力非常重要，能夠幫助你精讀相關工作，提取關鍵資訊，從最初的有限探索中快速學習，並確定項目的主要研究方向。
另一方面，毅力也很重要：一篇論文在提交前、提交後，或者回復同行評審、論文被拒時，通常都需要進行大量的編輯/資料添加。大量的論文編輯工作，尤其是在為二次提交做準備、同時又進行新的研究項目時，你很難有修改與編輯的動力。但同行評審過程的靈活性，又往往意味著論文值得你堅持修改與寫作。
記錄文獻閱讀和研究思路
Maithra在整個讀博期間，一直更新著兩個文檔。一個是第一年開始更新，另一個是第三年開始更新。
第一個記錄了她閱讀過的論文，每次Maithra閱讀了新論文後，都會將其添加到文檔中，並簡要寫下自己的收穫，該文檔篇幅已經超過50頁。另一個文檔則跟蹤研究思路，每當她有一個新想法時，都會記下來。Maithra認為，這有助於了解研究方向並突出關鍵主題。
社區的重要性
Maithra花了不少時間才意識到社區的重要性，從根本上說，研究是一項社區活動。做學術研究通常要解決異常困難的問題，研究的進步取決於你和他人的互相學習，這是探索研究方向時要牢記的關鍵因素。
Maithra認為，我們應該注意以下幾個問題：社區關注的研究主題是什麼，為什麼？存在哪些盲區？有能自然提出的研究課題嗎？花時間與社區中的同行討論這些問題，對於提出符合趨勢的研究問題至關重要。
而且，如果確定了該領域的新研究方向，則圍繞該方向建立社區通常會很有用。要實現這一點，可以發起協作，發布關鍵的開放性問題，並組織研討會。
Maithra分享道，博士生涯剛開始，她就對了解現代深度學習系統所展現的關鍵經驗現象感興趣。但是，在這個主題上開展工作非常困難。
這個領域正在迅速發展，使任何類型的研究分析都充滿了不確定性，並且極大地增加了圍繞該主題建立新社區的挑戰。
因此，Maithra的第一篇深度學習分析論文十分難產，極大考驗了她的毅力。但是在這之後，她感受到的是更加強烈的研究興趣。
發展研究視野
前面提到，在剛開始攻讀博士學位時，最好步步為營，專註於經驗，而不是特定的目標。但從研究成熟度的角度來看，攻讀博士學位其實需要一個特定的目標：成為具有豐富的（清晰的）研究視野的獨立研究人員。
在當前的機器學習研究社區中，隨著大量論文的湧現，人們很容易感到需要不斷發表新論文的壓力。
但是，儘管論文寫作是一項重要技能，Maithra認為研究成熟度的關鍵標準，是能夠對所在領域有淵博的知識和基於知識之上的深刻觀點，這些觀點有助於通過研究視野（與主題相關的總體觀點）來確定關鍵的研究問題。擁有廣闊、完整的研究視野會極大地激發人們的研究積極性。
那麼如何發展研究視野呢？Maithra認為，首先，如果沒有幾年的研究經驗就很難形成完整的研究視野。
在博士的頭幾年裡，Maithra埋頭閱讀論文和聽大牛的演講，並為無法提出有趣的研究問題而感到沮喪。之後的幾年裡，她閱讀過的論文、從事過的項目、參加過的研討會大大提高了這方面的能力。當然，這是永無止境的過程。
更具體來說，它始於探索，Maithra的前幾個項目為她提供了不同的曝光機會，並幫助她理解了自己感興趣的主題。之後，她研究一些自然提出的後續項目，並引發了有關應用程式/部署的一些相關問題。在研究具體項目的過程中，會不斷提出新的問題，並持續加深自己對研究主題的理解，同時有可能引出新的研究課題。當然，不要忘記請教導師，導師在你的研究主題上已經有了很廣闊的研究視野。
最後，Maithra強調，多年的經驗確實產生了複合效應。之後從事研究項目時，提煉論文中的主要觀點會更加容易，並能啟發下一個研究課題，這些研究方向最終合併形成一個更廣闊的視野。
總結
總而言之，攻讀博士學位也許是一段非常有意義的經歷。不妨將讀博視為一段旅程，有起有落，個人研究發現和研究觀點在不斷演變。希望這篇文章對旅途中跋涉的其他人有所幫助！
原文鏈接：//maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/
AI科技評論本次聯合【博文視點】為大家帶來15本「《labuladong 的演算法小抄》」正版新書。
在1月1日頭條文章《我多篇高峰會論文在手，面試AI演算法崗時竟然還要刷演算法題？| 元旦送書福利》留言區暢所欲言，談一談你刷演算法的故事，或你對2020的總結或者是對2021年的規劃和心愿，甚至可以是新的一年對AI科技評論的建議和期待，有哪些喜歡看的報道，還希望看到什麼樣的報道？
AI 科技評論將會在留言區選出 15名讀者，每人送出《labuladong 的演算法小抄》一本。
活動規則：
1. 在1月1日頭條文章（注意不是本文！）下面留言，留言點贊最高的前 15 位讀者將獲得贈書。獲得贈書的讀者請聯繫 AI 科技評論客服（aitechreview）。
2. 留言內容會有篩選，例如「選我上去」等內容將不會被篩選，亦不會中獎。
3. 本活動時間為2021年1月1日 – 2020年1月7日（23:00），活動推送內僅允許中獎一次。
點擊閱讀原文，直達AAAI小組！
由於微信公眾號試行亂序推送，您可能不再能準時收到AI科技評論的推送。為了第一時間收到AI科技評論的報道， 請將「AI科技評論」設為星標帳號，以及常點文末右下角的「在看」。
