CVPR 2021評審出爐，得分慘不忍睹，面對奇葩評審該如何反擊？

2021 年 1 月 20 日
AI

作者 | 青暮

1月18日，CVPR 2021的評審結果出爐，那麼同學們的評審結果如何呢？AI科技評論在社交網路上逛了幾圈，基本是一幅哀鴻遍野的景觀。可能拿到好分數的都在偷著樂，或者怕被打。然而，大家並不只是在哀嚎，還出現了很多抱怨的聲音，主要針對評審中的奇葩或不合理現象。

那麼我們就來看看，作為Google學術指標排行榜第一的AI高峰會，CVPR的評審工作都有哪些槽點。

1

大會數據

首先，簡單提一下CVPR 2021的投稿數據。CVPR 2021 程式主席、FAIR研究科學家Georgia Gkioxari近日發推表示：今年共有7015篇有效提交論文，每篇論文都至少有3個評審結果，所有論文加起來總共有21603個評審結果。今年的投稿數相比去年增加了19.6%，同時也是毫無意外地再創新高。

有趣的是，一篇非常「幸運」的論文拿到了9個評審結果。

那麼，收到評審結果後，有多長時間進行rebuttal呢？只有一周，北京時間2021年1月26日03:59截止。而到2月28日，作者們將收到論文是否接收的郵件。

為什麼說拿到9個評審結果很「幸運」呢？因為這意味著作者被質疑的點可能非常多，相比其他作者得寫更長篇幅的rebuttal。

但是，評審委員會沒有為其提供更多的表達空間，和所有作者一樣，只能寫一頁！時間嘛，也是一周。看到這裡，推特上很多網友表示「無法想像」，AI科技評論表示，「可以練練這門技術」。

知乎網友@向小雨表示，自己也是幸運地拿到了6個review，「總共分配了7個reviewer，除了1鴿了，其他人都提了好多問題。」

而造成這種情況的原因，其猜測是「前面的幾個reviwer都沒有按時提交，所以領域主席安排了許多emergency review，然後前面幾個reviewer又在最後關頭提交了…同時，大部分reviewer是在最後幾天匆匆提交的，所以comment寫得也不大走心，重複問了很多文章或者supp里寫到的問題。」

而拿到不走心評審結果的，遠遠不止一人。

2

奇葩評審結果

在社交網路上，很多學者曬出了自己的分數，可謂慘不忍睹。

評審採用5分制，1分為最高分，5分為最低分。每一個分數都表示一個明確的評審意見：

1分——強烈接收（Strong Accept）
2分——勉強接收（Weak Accept）
3分——被拒邊緣（Borderline）
4分——溫柔拒絕（Weak Reject）
5分——強烈拒絕（Strong Reject）

看這表達，就能隱隱感覺到評審的嚴苛。

AI科技評論幾乎沒有看到一個人曬出1分的評審，很多是223、244、344、234等從中庸到被拒邊緣的分數，更慘的還有444、553、554乃至555…其實1分的結果還是有的，但作者也有非常奇特的遭遇，這一點後面會提。

在知乎上，有些網友表示：分數比較差，但是得到了比較中肯的評價，提的問題切中要害，comment寫的很詳細，同時沒有把話說死，給了足夠多的rebuttal空間。

但不是所有人都那麼幸運：有人被一句話強拒，理由不明；有的審稿人直接說看不懂（這讓我rebuttal的時候說啥，「請你換審稿人」？）；有些給了最低分的在技術上就出錯了；有的批評沒有引用某些論文，而作者認為其引文數量足夠，論據也充足；有的審稿結果方差大，掩蓋論文本身品質問題。

也有看似精神分裂的評語（引自@白烏鴉）：

見到鬼了，一個精神分裂的R3，以下兩句話出於同一個人，你敢信？

R3:

你的文章總體寫的不錯！

對我而言，你的寫作的品質低於標準。

R3:

你的每個句子都被很好地組織和表達。

你的句子有很多語法錯誤。

R3:

下面我將談及一些問題，但都很小，不會對理解論文造成問題。

所以你的輸入到底有沒有A？我看不懂啊！

還有網友反映了一個奇怪現象：認真寫的論文分低，匆忙寫的論文反而分高。「這好像是電腦視覺會議的通病，算是體會到了。」

在推特上，很多人也表達了對評審結果的不滿。

比如，有人吐槽很多評審只是簡單地用「我不相信」和「我不認為」來表示質疑，而沒有提出論據，以及具體的參考工作，並表示希望程式主席或領域主席能注意到這種現象。

此外，其還舉出了另一個例子，以反映評審有多不走心：這篇論文的優勢是X、Y、Z，另外，它也有一些缺陷，分別是X、Y、Z…

真是驚喜、驚嚇…您咋不說，「這篇論文太爛了，強烈接收！」

英特爾高級研究科學家İlke Demir這樣調侃了CVPR 2021的評審摘要：

評審1：本文類似於A。

評審2：本文類似於B。

評審3：不，這是新東西！

它是一隻鳥嗎？是飛機嗎？不，它是超人！

請問，評審是在吵架嗎？

哈佛醫學院助理教授和麻省理工學院研究科學家Adrian Dalca也感覺評審很心不在焉，他們團隊的一些論文得到的評審結果是：用5-10個單詞回答每個評審問題的「隨機評審」。

CVPR 2021的博士聯合會主席Jean Francois Lalonde做出了回應，並表達了遺憾，「我曾經聯繫所有隻提供簡短評審的評審員，並請他們提供更多的詳細資訊。不過，並非所有人都照做。

Adrian Dalca表示感謝，並指出，「出現這樣的評審並不意外，但是我認為對於年輕的研究人員來說，這令人沮喪。我真的希望我們可以激勵研究人員放慢速度，去注意那些重要的細節。」Jean Francois Lalonde對他的觀點表示同意，但要做到這一點還很難。

然後，在CVPR 2021中擔任領域主席的瑞爾森大學助理教授Konstantinos Derpanis在對話下方表示，「CVPR社區應該至少對CVF上所有接收的論文開放評審結果，這樣可以看到其他論文的優缺點，從而啟發自己，而且可以看到好的和壞的評審的對比。」

英特爾智慧系統實驗室的博士後Samarth Brahmbhatt比較幸運，他的論文得到了非常中肯和貼心的評審結果，比如評審花了很多時間提出建議改進的地方，並分享了一些關於組織引文和程式碼的技巧。

這應該也是大多數學者希望得到的回應。

當然，評審的建議是否真的有用，就只能是見仁見智了。弗吉尼亞理工大學助理教授Jiabin Huang分享了自己的感受：

當CVPR 2021評審為你的論文提出一個很好的建議時，我：

馬克斯·普朗克智慧系統研究所所長Michael Black則發現，「相對於現有問題的好解決方案，CVPR的審稿人更喜歡對新問題的一般解決方案。然而，一個領域需要同時存在兩種研究。如果每篇論文都提出一個新問題，我們將永遠不會在任何問題上取得進展。」

在reddit上，有一位網友@redlow0992分享了自己的評審結果，其獲得了1分的高度評價，並同時感受到被給5分的巨大落差。

我們寫了一篇論文，揭示了許多以前的論文中使用的方法的缺點，並提出了一種改進方法。

評審結果令人大跌眼鏡：

評審1：強烈拒絕（5分）。基本上是說，我們的論文是無用的，對於我們批評的論文，沒有提供任何額外的好處。

評審2：強烈接收（1分）。評審表示很喜歡這篇論文，並提出了使用另一種方法來改進的建議。

評審3：被拒邊緣（3分）。無具體評價。

@redlow0992覺得很困惑，一篇論文竟然會同時獲得強烈接收和強烈拒絕！如果審稿人1實際上是他們批評的論文的作者之一，那不是很尷尬？

針對這個困惑，網友@OneiriaEternal回應道：

這種情況發生的次數其實比想像的要多。

我的建議是確保論文被正確理解（審稿人1可能只是誤解了目標或想法的表達？）。即使審稿人1是你所批評的論文的作者，但如果你的批評是公正且得到充分支援的，那麼他們也就不會刻意反駁你的意見。

建議在rebuttal階段能仔細回應每一條評審建議，並讓審稿人按你想要的方式理解論文的要點。

領域主席會進行最後的決策，因此如果你認為審稿人1不公平，不需要投訴，但可以通過很好地反駁其觀點來指出這一點。

那麼，當前分數反差很大的話，是不是很危險呢？網友@deep_noob表示，不一定。其去年一篇CVPR論文得到的分數是134，比@redlow0992稍微好些，最後也被接收了。

3

奇葩評審的源頭？

為何會出現這樣的結果，這些審稿人都評審了幾篇論文呢？除了上面提到的匆忙提交外，還有哪些可能原因呢？

CVPR今年一共有7015篇有效投稿，以及276位領域主席參與審稿，平均下來一個領域主席要負責25篇論文。

比如，Konstantinos Derpanis曾在推特上長期更新自己的審稿進度，他作為領域主席一共經手了28篇論文，審核了84個評審結果。

而且，據Georgia Gkioxari提供的資訊，每位審稿人最多分配6篇論文，從這個數據可以大致估計出CVPR 2021的審稿人數量至少為3600。相比之下，NeurIPS 2020總共有6747名審稿人。

然而，影響評審品質的或許還有一點，就是CVPR 2021採用了招募投稿作者擔任審稿人的做法。

實際上，這種做法NeurIPS 2020已經實踐過，Georgia Gkioxari認為，效果還不錯。

NeurIPS 2020邀請了64位高級領域主席、480位領域主席和4969位審稿人。儘管有4969名審稿人，但仍遠遠不足以完成工作。因此，NeurIPS要求提交作者審閱論文。從提交作者中，NeurIPS選出了1778名審稿人，加起來總共是6747名審稿人。

篩選標準是：

a）他們必須擁有TPMS或OpenReview的個人資料；

b）他們必須至少有一次評審頂級ML會議的經歷；

c）他們必須對至少10篇論文進行投標；

d）他們必須至少在頂級機器學習會議上以第一作者的身份發表至少一篇論文。

CVPR 2021也採用了類似的做法，對提交作者進行了問卷調查，還對入選的作者進行了培訓。至於培訓的總體效果如何，恐怕得等論文接收結果出來後，再見分曉。

Georgia Gkioxari認為，這種做法對於審稿人群體多樣化至關重要。通常，審稿人的資訊會從一個會議傳遞到下一個會議。「因此，通過這種方式，我們可以確保在其他會議具有一定投稿和審稿經驗的人也能在CVPR中做出合理的貢獻。」

2021年1月8日，程式主席Georgia Gkioxari在推特上分享了一些資訊，表示「今年的CVPR至今為止，程式主席、領域主席、審稿人一共交換了101638封郵件」，可見評審工作量之大。

看來，評審們也不容易。

4

如何準備rebuttal？

吐槽歸吐槽，撒完氣後，還是得乖乖準備rebuttal。就像上面那位reddit網友所說，在rebuttal的時候也要保持理性，不要被審稿人看出你的情緒，領域主席自有公道。

話說一篇論文不僅初稿產出不易，從投稿到最終發表，經歷的艱難也是難以想像。

終於來到rebuttal階段，當然還是有話好好說。

知乎上有網友分享了一些跟rebuttal有關的Tips：

1、別太在意reviewer說的novelty is limited。很多論文有decorative novelty反而會害了一篇論文的影響力。長期看來很多simple但是subtle的novelty影響力都很大，我可以想像ResNet給很多人盲審的話，也會噴novelty is limited。

2、能投ICLR、NeurIPS和ICML的話就投。個人多次投稿經驗，平均來看這三個都比CVPR的審稿品質高，最好投ICLR，所有都是open review的，審稿人也會有壓力，即便分數低也會收穫更中肯的建議。

3、及早arXiv，然後進入下一個工作。及早arXiv也是逼迫自己早一些把一個工作做的完整點，然後move on做下一個有趣的問題。有很多改變領域的論文至今都只能掛arXiv從未被接收，比如最開始的Knowledge Distillation和WaveNet。

或者也可以參考AI科技評論的這篇文章《怎麼寫 Rebuttal 才能讓評審和領域主席心服口服？》，本文介紹了如何應對ECCV的rebuttal。

總體來說，就是不要忽略領域主席的存在，把rebuttal當作辯論賽，審稿人當作對手，領域主席當作裁判，rebuttal的最終目標是讓對手和裁判都滿意：「說服裁判相信你的論點遠比讓對手改變想法更重要。」

文中列出了具體的做法（四步法）和注意事項（18個小貼士），希望對同學們有幫助。

四步法：

1、逐條列出審稿人的評審意見。用一個電子表格將每個審稿人的評審、問題、關注點組織起來。這種將所有東西都放在同一個位置的做法可以防止遺漏重點，也能夠及時確定是否要新增實驗。

2、腦補可能的回復。建立電子表格的時候單獨留出一個欄目寫你認為審稿人的可能回復。寫的時候大膽一些，不需要考慮文體和篇幅，但要有說服力。

3、寫一份 rebuttal 草稿。草稿不用考慮篇幅，在簡明扼要的同時，覆蓋每一個要點，並對要點進行優先性排序。

4、評審和修訂。重新閱讀最初的評審意見和電子表格，並確保所有內容都得到解決。