這場NeurIPS 2019研討會，讓新人與Bengio等大佬面對面交流，還頒發了三項論文獎

• 2019 年 12 月 24 日
• 筆記

機器之心報道

機器之心編輯部

NeurIPS 2019 已經在溫哥華接近尾聲。作為人工智慧和機器學習領域最頂級的盛會之一，本屆大會參會總人數已經超過 13000 人，比去年增加了 50%。

在大會期間，一場面向 AI 新手的機器學習研討會「New In ML 2019」也於當地時間 12 月 9 日 7 點至 17 點召開。這場研討會由第四範式、 ChaLearn 和 Google 聯合舉辦，為初次參會的研究者提供了一個與業界大牛面對面交流和學習的機會，並取得了非常積極的反響。多名與會者在與大會最高決策組織 NeurIPS Board 及組委會的對話環節介紹了 New In ML 研討會給他帶來的巨大價值，希望明年繼續。由於一票難求，有參會者表示希望自己的新學生能來參加但沒有被抽中門票，為了緩解這一擔憂，主辦方表示將在明年為 New In ML 研討會專門預留門票以便新博士生能夠增大參與機會。

本次 New In ML 2019 以經典的 Workshop 形式組織，包含了專家指導、投稿、評選優秀論文、口頭和報告展示等豐富的環節，是首個成為 NeurIPS 大會官方環節的機器學習初學者論壇。論壇共收到機器學習領域論文投稿 80 余篇，經過專業評審委員會討論和評審，篩選出 12 篇 Oral Presentation 和 40 余篇 Poster 論文，同時評選出了 3 篇最佳論文並現場頒發了獎項。

這場 Workshop 得到了新晉圖靈獎獲得者 Yoshua Bengio 、NeurIPS 組織最高決策者、秘書長 Terrence Sejnowski、以及最高決策組織 NeurIPS Board 和 Advisory Board 的多位核心成員——Thomas G. Dietterich、Samy Bengio、Isabelle Guyon、Neil Lawrence、Masashi Sugiyama、Hugo Larochelle 諸位大佬的支援。

為期整整一天的活動是從早餐會開始的，新人們與 Yoshua Bengio、Hugo Larochelle、Max Welling、Thomas G.Dietterich、Radford Neal 幾位業界大牛一起享用早餐，並面對面交流機器學習領域的一些研究心得。

隨後，巴黎薩克萊大學教授 Isabelle Guyon 做了開幕致辭。

受邀出席的 Thomas G. Dietterich 是本次活動的主題演講嘉賓，為新人們深入淺出地講解了如何做機器學習研究，以及如何寫機器學習的論文。此外，他也與新人一起完整地回顧了機器學習的發展歷史，並肯定了工程領域和交叉學科進步對機器學習發展的影響。

在主題演講中，他還談到了寫機器學習論文的一些技巧，包括如何了解自己的研究和整體研究的關係、如何回顧已有研究、如何寫好論文（包括批判性地吸收、回顧、總結相關研究、製圖等）。演講中，Dietterich 還邀請聽眾參與小組討論，使得整個過程更有教育意義。

在下午的圓桌討論環節，多位大佬級別的導師同時出席，與參與活動的新人們展開了關於「快速融入機器學習領域」方面的討論和交流。

在圓桌論壇上，幾位深度學習大牛分享了他們在提出好的研究思路、做好研究、如何跟上快速發展的深度學習等方面進行了輕鬆的面對面交流。在談到如何能夠獲得好的研究想法的時候，Samy Bengio 表示，重要的一點是不要從眾。如果有個研究的方向和思路很多人去做了，那它可能不是一個好的想法。要想做出不一樣的研究，需要遠離人群，提出新的想法，有時可能需要不斷提出新想法並尋求可靠的建議來做甄別。除此之外，Hugo Larochelle 強調了要選擇自己有熱情的研究方向，並指出與不同研究興趣的人交流也有助於發現從前不知道但其實令你著迷的方向，從而創新出什麼。Neil Lawrence 指出了堅持的重要性。

談及什麼是好論文、有價值的論文，Samy Bengio 指出，最有價值貢獻的研究應是具有啟發性的，能夠觸達更多價值，比如能在某些研究方向上引出新的可以進一步構建的問題，可以是理論的、經驗的或者任何可以實現這一點的貢獻。王立威從動機層面建議，如果想做出有貢獻的研究，需要為了你認為「重要」的事做研究，而不是為了取悅審稿人發表論文而做研究。談到會議論文和期刊論文對貢獻度的要求，Masashi Sugiyama 表示，對於會議論文來說，有一個好點子就一般是足夠發表了，而期刊論文很輕易就耗時一兩年，需要有多個發現講一個完整的故事。

最佳論文獎項

本次活動還特別設置了論文投稿環節，並從中評選出多個論文獎項。根據主辦方要求，除參考文獻外，投稿論文的篇幅不得超過 8 頁，篇幅較短但內容足夠好的論文也可以。投稿論文的第一作者先前沒有被 NeurIPS（主會議）接收的論文，並且也不得在其他高峰會上接受過評審或被接收。如果投稿論文之前被拒過，則應在提交至 New In ML 2019 之前進行修改。

被 New in ML 2019 接收的論文將接受專業 NeurIPS 審稿人的評審，如果評審通過，則可以在 workshop 和 expect coaching 上進行演講或 poster 展示。還需注意的一點是，提交的論文並不作為正式的 NeurIPS 論文，所以論文作者可以之後進行修改並提交至 NeurIPS 2020，並在重新提交至其他高峰會時應該考慮這些會議的政策。

在 80 余篇投稿中，專業評審委員會篩選出了 12 篇 Oral Presentation 和 40 余篇 Poster 論文，並在活動現場頒布了三個最佳論文獎項，包括最具顛覆性觀點獎（Most Disruptive Idea）、最具科學含量獎（Best Scientific Contents）和最佳口頭報告獎（Best Oral Presentation）。榮獲最佳論文獎項的作者將有機會註冊 NeurIPS 以及申請旅行獎（travel award）。

以下為本次獲獎的論文：

最具顛覆性觀點獎（Most Disruptive Idea）

獲得 New in ML 2019 最具顛覆性觀點獎的論文是《Edge Contraction Pooling for Graph Neural Networks》，作者是來自德國慕尼黑工業大學（TUM）的 Frederik Diehl。

論文鏈接：https://arxiv.org/abs/1905.10990

通常，有關圖神經網路（GNN）的研究集中在卷積層的改進上，很少關注開發圖池化層。但其實，池化層通過將一組節點抽象化，而非使用單個節點的方式，是能夠讓圖神經網路具有推理能力的。在圖神經網路的研究基礎上，文章提出了一種基於邊緣收縮概念的新的圖池化層（Graph Pooling Layer)，能夠與圖神經網路結合，在節點分類和圖分類任務上，提高了準確率，同時能夠適用於大規模圖的處理。

最具科學含量獎（Best Scientific Contents）

獲得 New in ML 2019 最具科學含量獎的論文是《Popularity Agnostic Evaluation of Knowledge Graph Embeddings》，作者分別是來自卡達計算研究所（Qatar Computing Research Institute，QCRI）的 Aisha Mohamed、Shameem Parambath、Zoi Kaoudi 和 Ashraf Aboulnaga。論文一作 Aisha Mohamed 為 QCRI 的助理研究員。

第四範式主任科學家塗威威在現場為 Aisha Mohamed 頒布最具科學含量獎

在這篇文章中，作者特彆強調了知識圖譜中實體與關係非常不均衡的現象，傳統的評價指標例如 hits@k, 並不能很好的處理這些 bias，因此作者提出了新的評價指標「strat-hits@k」，這是一個基於實體、關係受歡迎度的無偏估計指標。

最佳口頭報告獎（Best Oral Presentation）

獲得 New in ML 2019 最佳口頭報告獎的論文是《Augmenting Learning Using Symmetry in a Biologically-inspired Domain》，作者分別是來自哈佛、Google 和 DeepMind 的 Shruti Mishra、Abbas Abdolmaleki、Arthur Guez、Piotr Trochim 和 Doina Precup。論文一作 Shruti Mishra 博士就讀的是哈佛大學約翰保爾森工程與應用科學學院的應用數學系。

論文鏈接：https://arxiv.org/abs/1910.00528

在監督學習，如影像分類任務中，旋轉、遷移和尺度縮放被用於進行數據增強。受影像數據增強的啟發，文章提出在強化學習模擬環境中，利用對稱關係，讓 Agent 能夠在數據有限的情景下，擴充訓練數據，可以顯著提高訓練效率，同時能夠使得 Agent 學習對稱不變性。該方法從進一步應用的層面上講，可以加快機器人現實應用中的學習速度。