NeurIPS評審規則5大變革：增設「預審拒絕」，研究需論述社會影響

• 2020 年 2 月 24 日
• 筆記

大數據文摘出品

NeurIPS2020評審系統發生了重大改變。

昨天，NeurIPS團隊在medium專欄發布公告，宣布了2020會議投稿和評審的幾項重要變化。

• 增加 pre-reject 階段；
• 所有論文作者需要完成被分配的論文評審任務；
• 有修改的必須提供修改的歷史列表；
• 論文中需要註明研究產生的社會影響；
• 每篇論文需要配備描述研究工作的影片。

NeurIPS（前稱NIPS）可謂人工智慧年度最大盛會。每年聖誕前夕，全球的人工智慧愛好者和科學家都會聚集起來，發布最新研究，並進行熱烈探討。這不僅是一次大的party，也是一次重要的技術發展指向，大會的技術往往這未來幾年就會演變成真正的研究甚至應用成果。

此次重大規則的更新，也反映了機器學習研究圈的重要趨勢。

論文投稿數量的持續新高給評審人和會務組都帶來了不小的壓力，根據2019年的數據，NeurIPS會議的論文投稿量再創造新高，共收到6743篇投稿，最終錄取1428篇論文，36篇oral，錄取率為21.2%。增設pre-reject階段和論文作者被分配評審任務無疑可以稍微緩解這一緊張局面。

此外，機器學習研究涉及的道德倫理問題也在引發全社會的持續關注，因此規定論文中註明研究影響，也可以讓研究者們更加註重自己研究的社會影響。

會務組還發布了一條影片來說明這些改變：http://mpvideo.qpic.cn/0bf2cuaa6aaauaapm6snjvpfafodb4kqadya.f10002.mp4?dis_k=3639681ffe85728c9054a61f4a892277&dis_t=1582532437

具體改變如下：

1)今年摘要提交的截止日期調整到了2020年5月5日，論文提交的截止日期是2020年5月12日。 這能給評委會更多的時間來處理逐年增加的論文提交量，以適應審查過程的早期拒絕階段。

2)增加pre-reject環節：區域主席會有兩周時間提名pre-reject的論文。粗略預計，將有20%的論文將被預審」勸退「。隨後，高級區域主席有一個星期時間來批准這個決定，這時被拒絕的論文作者將被告知，他們的論文也不會再參加進一步的評選。

3)作者即審稿人：組委會要求每篇論文的作者（合作者）都同意審稿，這一要求有助於增加審閱者數量，並在提交論文的社區成員中更公平地分配審閱的工作任務。

4)更廣泛影響探究：作者被要求在提交的文件中增加一個部分，用以討論他們的工作如何產生更廣泛的影響，包括可能的、正面或負面的社會後果。

5)重點影片：組委會還會要求所有作者上傳一段影片，用攝像機記錄他們在論文提交時間內的工作情況，同時，組委會正在研究如何實現遠程演示和遠程參會。

應對持續增加的論文和參會者數量，鼓勵線上參會

組委會表示早在2019年會議開幕之前，組委會就開始在為NeurIPS 2020做規劃，當時重點放在了三個重要議題上，對這些議題的討論都對審查進程或會議本身產生了一些具體的變化：

• 適應提交和與會者數量的不斷增長；
• 努力解決研究的道德考慮和影響；
• 實施可持續的做法，例如支援遠程參與和參與。

首先，最亟待解決的緊要問題是提交論文數量的迅猛增長，不管是提交的論文還是參加NeurIPS大會的人，每年都保持了一定的增長。雖然12月份的會議計劃會有一些變化(避免海報踩踏和封鎖是第一位的) ，組委會也需要利用各種方法加快審查過程。

如今，NeurIPS正試圖以前所未有的規模和速度進行期刊品質的同行評審。正如去年，組委會試圖在短短几周內為超過6000篇完整長論文尋找雙盲、高品質的評論，今年，組委會預計門檻將進一步提高，初步預計將收到10,000份提交論文，在目前的審查程式下，這將需要30,000份審查意見，如此大量的高品質審查是無法完成的，因此正在對大會結構進行改革，以便能夠有一個更易於管理的進程。

針對此情況，組委會已經決定實行pre-reject，其實，這個想法在很多年前已經被多次討論過，直到今年IJCAI也採用了pre-reject。這應該是最直接的方法，也是期刊普遍採用的方法：品質較差或相關性較低的投稿將被編輯拒絕，而不再參加評選 。

組委會將通過要求區域主席評估分配給他們的論文，並確定高達20%的被拒論文數，以此來具體實行。被區域主席拒絕之後的論文，將由高級區域主席再次審閱，以進一步確認，同時，組委會將及時通知論文作者。品質較差或相關性較低的論文被移除之後，評審員將有更多將時間用以審閱更高品質的論文上。儘管組委會承認，對作者來說，收到摘要拒絕是很有壓力的，但這也能鼓勵作者提交高品質的作品。

組委會希望在審查過程中改變的另一個地方是，要求作者披露論文是否為再次提交，也就是說，論文是否曾被同行評審機構拒絕過。不僅如此，他們還需要總結並提供被拒絕的原因，列舉出對當前版本進行的更改。這將為審稿人提供有用的背景資訊，特別是考慮到有些審稿人可能以前已經審閱過該論文，更想知道其中的關鍵調整。這項舉措將鼓勵作者在再次提交之前改進他們的論文。

為了更好地應對與會者人數的增長，解決日益增多的國際會議帶來的碳排放問題，組委會正在努力實現、甚至鼓勵遠程參與大會。過去幾年，NeurIPS的票很快就賣光了，甚至報名票都是通過抽籤系統分配的。

繼去年試行成功後，今年將繼續推廣線上參會，這也是社區成員遠程參加會議和建立社交網路的一種方式。為了更好地實現內容遠程訪問，今年演講者將上傳工作的影片介紹，以及用攝像機拍攝的論文版本。此外，已登記的與會者將被詢問是否希望根據紙張匹配系統（paper-matching system），得到發表論文的個性化推薦，以供閱讀，這是考慮到與會者在各種繁瑣的程式中往往很難找到自己感興趣的論文。同時，組委會正在想辦法使演講和海報的遠程演示成為可能。

在一個理想的」同行審議經濟」中，作者將根據他們提交的論文數量按比例進行審議，而提交的論文將取決於提供的審議服務的品質。因此，為了促進同行評議體系更健康、更持續的發展，組委會決定，今年，每一位合著者在接到邀請時都擔任項目委員會成員，不遵守規定的作者會有論文被拒收的可能性。他們希望這一要求能夠增加我們的評審人員數量，在社區中更平均地分配評審的工作量，也希望作者能夠理解並充分感受項目委員會成員的努力。

最後，NeurIPS組委會也指出，NeurIPS的影響在社會中越來越大，這要歸功於在會議上提出的、在工作中衍生出的無數應用。因此，所有人都有責任去思考，開發新方法和新系統意味著什麼，不僅要考慮研究帶來的益處，而且還要考慮潛在的邪惡用途和失敗的後果。為了鼓勵更廣泛和更平衡的觀點，組委會要求作者在他們論文的一部分專門用於討論這些廣泛影響，這個額外增加的部分可放在後8頁限制連同確認和參考。

網友評論

Reddit上也針對NeurlPS的這一改變進行了熱烈的討論。

排名最高的評論是這樣的：「針對這個小眾的影像數據集的識別我提升了1%的準確率，這個成果將會徹底改變我們的社會。」

很顯然，這條評論說的是第四條新規定，要求提交的論文有著對社會更廣泛的影響，諷刺的則是之前那些只是針對某個數據集提升很小的準確率而發的論文。

還有網友針對每一條進行了評論，態度也很中立。

• 我喜歡這條規定，太多的人將會議作為對他們未完成的項目的免費回饋，有些論文僅僅從摘要上看就是顯然會被拒的，另外，糟糕的論文也佔用太多評審員的時間最後給出一個強烈拒絕的建議，更何況有的糟糕的論文還很長。
• 看起來很合理，我只是希望它不會讓那些惡意的作者對他們認為是直接競爭對手的論文進行過於苛刻的評論，哪怕是半潛意識的。
• 不是很支援，這意味著有些糟糕的評審員將對幾個會議周期產生持久的影響。另一方面，它可能會阻止作者抱著一批幸運的評論者的希望而「直到它工作為止」，但是知道一篇論文已經被拒絕了確實會影響審稿人的觀點。比如有很多超級有影響力的論文，但是它們一開始就被拒絕了。
• 就像論文本身？不管怎樣，不是所有的論文都應該有明顯的長期持久的社會應用。在某種程度上，這不應該是一個數學會議嗎？我估計我們將不得不閱讀每一篇文章如何改變世界的陳詞濫調。我覺得如果一篇論文有一個合理的、有趣的、長期的應用，那麼很明顯它會在論文中表達出來。

你怎麼看NeurlPS的這一系列新變革？評論區告訴我們吧?