北京大學施柏鑫：從審稿人視角，談談怎麼寫一篇CVPR論文
近期，北京大學電腦系研究員施柏鑫 在2021年智源大會上做了主題為《科研技能提升講座：審稿視角下的電腦視覺論文——從投稿到接收》 的報告，清華大學教授、主持人蘭艷艷表示：
施柏鑫老師博士畢業於日本東京大學，主要從事電腦視覺、計算攝像學方面的研究工作。 施老師本次的報告從審稿的角度出發，講解一篇CVPR乃至所有電腦視覺的論文是如何被接收的，對整個寫稿流程解釋的非常詳細。
為什麼給大家做這麼詳細的介紹？主要有以下三個目的： 第一，如果你是一個學生作者，當你對整個流程非常清楚的時候，對你自己寫論文、投論文以及了解整個文章的處理流程，進行學術交流是非常有幫助的。 第二，很多同學都會有被拒稿的經歷。剛才施老師講到整個審稿流程非常複雜，很多人經歷了努力的過程，我覺得你應該仔細去看待comments，大多數對你來說還是「富有營養」的。被拒稿的時候你可能會在網上吐槽「審稿人沒有看懂我的文章」。但是很多時候你要思考，是不是在論文寫作的過程中有些東西沒有解釋清楚，這種反思對你做科研會有幫助。 第三，你自己做審稿人的時候，清楚流程讓你可以做到認真負責，這對於我們整個學術圈會是一種非常良性的推動。 以下是報告的主要內容，AI科技評論進行了不改變原意的整理。 DDL之前
去年3月份，我通過智源平台做了一個線上的分享，從作者的角度講電腦視覺的論文從哪裡來到哪裡去，包括論文寫作本身需要注意的一些技巧。 今年換一個視角，從審稿人角度講。 研究者對頂級會議的Deadline都很敏感 ，比如CVPR基本都是11月第二周或者第三周截止。 但是，在這之前我們有很多的準備工作要做，不管文章是幾個月趕出來，還是準備大半年、一年，在Deadline這一天你都要把文章投出去。最近基本用的時間是太平洋時間的23點59分，這個Deadline還是挺友好的，一般是北京時間第二天下午4點鐘左右。 但是2009年我投稿的時候的時間換成北京時間是早上8點，基本上前一天晚上是睡不了覺的，趕Deadline很辛苦，無論是文章的寫作方面還是實驗方面，最後一天很可能慌亂地「一地雞毛」。 因為我是做基於物理的視覺，這個方向的特點是要對真實場景在可控的環境下拍照，不是說你拿手機拍一張照片那麼簡單，可能需要用一些專業的設備，或者自己去搭一些符合條件的場景。 當年我的第一篇CVPR，大概提前一個月就開始去做真實數據的拍攝，由於經驗缺乏，直到最後才找到一個合適的環境調出來合適的結果，把文章投出去。 2010年時候CVPR論文的長度是加上reference 8頁，比現在稍微短一點。 我們那時候寫完論文提交後就基本結束投稿流程，其中少量的論文會有附加材料（補充證明等）。現在基本上所有的文章，尤其是深度學習 方向，我們有太多的數據要測，有太多的結果要展示，就只能放到附加材料中。所以過了提交論文的DDL後，再往後延七天的時間用於準備附加材料，這才是真正的DDL。 然後，也許你就可以「躺平」慶祝了？ DDL之後：先分配審稿人
那麼，文章投出去了，附加材料也交了之後，論文會繼續經歷哪些流程呢？ 第一，了解職能分工。 大會主席（General Chair）主要負責整個會議的總體組織；與作者最相關的工作，由程式主席（Program Chair, PC）負責，即決定文章的錄取。文章投稿完成後，程式主席要找一些不同方向的領域主席（Area Chair，AC），把這些文章分給領域主席（AC），近些年每位領域主席大概有30篇左右的文章需要處理。 程式主席不可以向會議投文章 ，因為在他的視角下會看到關於文章所有的資訊（包括作者和審稿人），不符合雙盲審稿原則。 附件材料提交DDL過後7到10天左右，領域主席要做什麼事情呢？ 第一件事情是處理需要重新分配的文章 ，比如發現自己（僅通過文章內容）知道有些文章的作者跟自己有conflict，沒有辦法處理這篇文章。這樣的情況不會太多。 第二，處理一些需要直接拒稿的文章（desk reject）。 因為有些文章根本不用找審稿人：主要是沒有匿名的文章，包括附加材料。有個真實的案例，當時有一篇論文投稿了以後，作者在收到了拒稿郵件，可能是因為隊友的問題，在附加材料的影片中添加了作者資訊導致的。 這裡有一個微妙的環節，就是對篇幅的限制，近些年CVPR和ICCV都要求篇幅不超過8頁，不包括參考文獻，嚴格來講違反上述規則也是desk reject。那多一行算不算，多了幾個詞行不行？其實AC在這個問題的處理上比較有人情味，超出太多是不行的，確實跟會議投稿規則有矛盾之處，完全有理由把這篇文章直接拒掉。但實際操作中會考慮作者到底是有意還是無意（最後慌亂中提交的論文）地超出篇幅限制， 如果是不小心出現這個問題，其實還是可以容忍的。 另外最重要的一件事情就是suggest（不是assign）審稿人，至少在電腦視覺這幾年的會議上是這樣處理的。 就是為什麼領域主席需要本領域有經驗的學者來擔當，因為要根據他的經驗從審稿人裡面找10個左右合適的人選推薦到系統中，其中會參考TPMS score、Google scholar、DBLP等數據。TPMS（Toronto Paper Matching System）是現在處理電腦視覺會議論文中常用的系統，它背後設計的演算法 會根據你評審的文章和提交的文章，計算一個匹配分數作為參考。領域主席根據經驗對這些數據做權重後推薦審稿人，這其中需要重點考慮的是領域相關度。 另外需要考慮的是Senior和Junior審稿人比例平衡的問題。因為近幾年，很多的AI會議都面臨投稿量激增的問題。可能十年前我們在投稿的時候，如果有1000多投稿就感覺數量龐大，現在1萬多也不再新鮮。之前的頂級會議也基本上很少會找學生當審稿人，但是現在面臨審稿人嚴重不足的問題，就需要很多學生審稿人，所以這個時候就要兼顧比例平衡。因為 不同經驗的審稿人看文章的角度是不一樣的。 第三步，系統真正指定審稿人，如今的電腦視覺會議基本是用電腦演算法來指定審稿人的。 演算法調整的參數我們不得而知。也會充分考慮不同經驗審稿人的工作量，以2021年ICCV位列，全職的研究人員或者教師，的審稿上限是7篇paper，而學生是4篇。由於採用了領域主席推薦結合系統指定的方式分配論文，就近些年的電腦視覺會議而言，論文匹配是比較精準的， 以小同行評審為主。 匹配審稿人的時候，除了我提到的參數，還有一個可選的bidding環節。Bidding也就是讓審稿人對自己感興趣的paper進行意向的表決，這個也會在系統指定論文的時候佔有一定的比重。bidding環節審稿人能看到的只有論文題目和摘要。這也是摘要對於一篇論文最重要的作用。 在這個階段，AC一般沒有權利重新指定審稿人 ，以前面系統匹配的結果為準進入下面的審稿環節。如果有不合適的審稿人，需要在後面的階段再進行處理。 開始審稿
接下來，審稿人拿到待評審的稿件後，可以有一些橫向的對比。小同行評審下，可能審稿人手裡拿到的幾篇文章做的是非常相似（解決同一個問題）的工作。 在這種情況下，如何從作者的角度讓文章迅速抓住審稿人的眼球？ 第一印象非常重要 ，我讀一篇文章5分鐘到10分鐘後會對它有一個大概的判斷，而往往寫意見的時候基本上不會與之前的判斷相差太多。 我個人認為， 在看完introduction後，如果這篇文章給我的感覺像一個精彩的報告，而且我基本知道了作者提出並解決了什麼問題，以及有怎樣的結果，並且非常流暢，印象就會非常好。 反之，如果在introduction發現了好幾個語法或者常識上的錯誤，或者整體圖表精緻程度、對於問題描述的準確程度等發現了明顯的問題，那其實你就已經幫助審稿人節省了很多的時間——他很容易找到理由把這篇文章拒掉。 另外從技術的角度講，如果這個文章讓審稿人覺得一下就想透了作者要解決的問題，甚至知道別人做過，他一定不會給這個文章很高的分數。 反過來，如果審稿人給一個文章最高的分數，有可能認為這項工作他自己也想做，但是他沒有做出來，投稿人做的比他還好。 我們接下來從審稿人的角度出發，探討他在審稿過程中會引發何種思考。首先，引用羅傑波教授去年7月一個非常精彩的talk中的觀點 「己所不欲，勿施於人「。 如果你作為作者不希望看到的意見，也不要作為審稿人給別人提出。 我畫了一個重點關鍵詞——constructive，即建設性。比較粗淺的、專業性不是很強的審稿意見是，一上來就說這篇文章沒有novelty。而不指明哪個部分沒有創新性，或者哪個部分類似的工作已被人做過，現在提出的方法是在具體哪個已有的方法上做了一些簡單的更改等等。這些都需要給出具體的分析或者證據。 另外還有一類常見問題。比如說實驗，實驗怎麼做都有可能會有遺漏的，但是就簡簡單單評論一句實驗不充分會有失公允。審稿人要告訴作者到底是哪一點不充分，讓作者知道這篇文章沒有贏得審稿人讚賞的原因是什麼。所以說作為一個專業的審稿人，應該在給出任何一個評價的時候，都要做到有理有據。 催稿
late reviewer是一個常見的問題，一般來說會給審稿人一個月的時間去審稿。但是事實上，我記得我前幾天打開ICCV的系統的時候，可能距離評審公布的DDL還有兩三天，但當時很多文章的審稿率是0%。 這個時候領域主席會通過系統向審稿人發郵件，來催促審稿人。這時就突然發現審稿人都是ddl戰士，在最後幾天審稿完成率數據提升明顯。所以留給審稿人的時間有限，他可能就用了最後幾天的時間看完論文，寫評審意見。因此， 論文作者需要好好思考，如何能夠寫出快速讓審稿人領會文章要點的、高品質的文章。 這裡面有一個微妙的時間點，你作為作者在網站上看到的公布審稿意見的時間和你作為審稿人被通知提交審稿意見的時間會有幾天間隔，這中間的幾天用來做什麼呢？就是留給AC來催促審稿人。 有一些審稿人晚兩三天交，一般在容忍的範圍內，可以繼續等。但是總會有一些審稿人一直在玩消失，這不是一個好現象。 審稿是一個volunteer的工作，也是有責任感的工作，既然接了這份工作，就要按照規則把這個工作做好。 然而總有一些審稿人是聯繫不到的，這個時候AC就要找緊急審稿人救場。 一般每篇文章收到至少有三條合格的審稿意見即完成審稿。但是大家最後拿到審稿意見後，可能會看到四條、五條，甚至更多審稿人的意見，那可能就是你的論文遇到了不負責任的審稿人，聯繫不上原審稿人，AC就臨時找了其他審稿人，然而原審稿人過了DDL又交了review。 除了催審稿人之外，AC還要檢查審稿人交的稿件是否符合審稿的要求。，例如過於簡短的審稿意見，有可能會被領域主席提醒希望修改。 評審公布
終於在把review收齊後，就到了第五步，這時從投稿算起來已經兩三個月過去了。這也是一個比較激動人心的時刻，作者會收到第一輪的分數和文章評價。 這裡面有一個很關鍵的環節，就是利用7天的時間，以第一輪迴饋作為參考，對審稿人提出的意見做一個申辯（rebuttal）。 申辯原則上是讓作者向審稿人解釋其對你文章的誤解，並不是要求大家做新的實驗。 為什麼在rebuttal階段不讓做新的實驗？主要是七天時間，趕出來的實驗結果不太可靠。 所以，如果是一個比較專業的審稿人，他給出的建議裡面不會要求在此期間做大量實驗，而主要是告訴作者哪些方面需要理清。我個人認為rebuttal至關重要，不要放棄這個機會，除非你一開始投的時候對這篇文章就是抽獎的態度，只是去試一試。如果你是認真地在做這個工作，希望大家把這個環節堅持下來。 但是如果你運氣不好，遇到了奇葩的審稿人，怎麼辦？吵一架？懟回去？這都不是正確的做法。這時作者和審稿人的原則是一致的，即responsible和respectful， 大家都是討論學術問題，要以專業的態度進行申辯，端正好態度，平和好心態，做到有理有據。 電腦視覺論文多用一個5級的評價機制，一般1分代表最好，5分代表最差（這並不是審稿人打出的分數，是因為系統里有1-5分五個選項）。大家習慣把三個數報出來，通過分數判斷文章的評價。這個最初的分數只是參考，後面AC和PC決定錄用的時候，主要依據rebuttal後改過的分數。 我自己也有很多「起死回生」的經歷，可能你開始看到分數後感覺不可能中，最終分數卻出乎意料。比如後來審稿人承認你的解釋合理，就把分數改高。也有可能審稿人拒不承認你的工作的創新性，但是如果AC認為這項工作對於該領域發展有所幫助，也可以決定錄取。 作者在rebuttal階段寫完解釋提交後，接下來對於審稿人還有很重要的討論環節。 對於審稿人來說一定要open-minded，即要讀其他的review，做積極的討論。 作為一個電腦視覺頂級會議的審稿人，這點非常重要的，因為AC的判斷主要依據rebuttal後的分數。但是其實並不是所有人都能做到，有些審稿人審完就消失了，後來也不參與討論，導致大家覺得rebuttal沒起作用。 這裡面非常關鍵的兩個點，仍然是responsible和respectful，大家都是在一個平等的心態下討論問題。為什麼說rebuttal之後很多事情都可能發生？因為審稿人的討論對作者不可見，某篇文章背後可能經歷了激烈的討論才決定了最終的分數。這個過程對於審稿人是匿名的，但是AC可以看見到底是誰在發言。 其實就我個人在做領域主席的時候，會很積極推動審稿人之間的討論，尤其針對意見存在分歧的文章。這個時候有些審稿人比較認真，聲音比較大，或者他對這個領域特別熟悉，或者有一些觀點他非常在理，這些都會對最終評審結果產生較大的影響。 審稿人經過最終的分數確定後，大概在rebuttal提交後一個月左右的時間內，領域主席通過開會最終決定這篇文章到底是錄取還是拒掉。 此時，領域主席最重要的作用是告訴程式委員會到底哪篇錄用哪篇拒絕，同時讓作者明白這篇文章為什麼被錄用或被拒絕。CVPR之前的傳統是線下的領域主席會議，但是去年由於疫情的影響選擇線上方式，開了7天（每天1-2個小時），會議期間會不斷重複分析這些文章，討論對爭議如何處理。 這個過程是什麼樣的？在拿到了最終的分數以後，在開會之前，一般來說會對分數進行排序。比如說比較低分的文章，大於444的分數文章先放在一起。然後把剩下分數特別高、評價一致正面的文章（比如222以下）也放在一起。這些文章一般來說沒有太大的爭議，AC看後也會覺得評價很客觀，沒有什麼明顯的瑕疵和問題，會提前寫好推薦。 其實處於兩端的文章都不多，絕大部分的文章都存在爭議。比如有一些文章的分數是224，一開始收到這個分數作者可能還挺開心的。經過rebuttal的時候，這個分數就會變化。但是即使最終分數是兩個偏向接收的，一個偏向拒絕，或者反過來，這篇文章都存在接收或者拒絕的可能。AC會根據每篇文章的分數與其他AC討論進行具體分析。 包括向他自己搭檔的secondary AC做彙報，詢問這篇文章是否有問題。也就是說，每一篇都要拿出來討論，到底這篇文章裡面審稿人的negative意見更有道理，還是作者rebuttal說的更有道理，要進行反覆論證。 大家可能覺得AC的權力很大，但其實他的決定都得經過和其他AC商量後做出，不能一個人決定自己處理的每篇文章。 這裡存在一些非常特殊的情況。 推翻審稿人的一致性意見是要盡量避免的事情，一定要爭得其他領域主席和程式委員會的同意，才能推翻。 所以這就是為什麼AC工作中存在Triplet的組合，即三個人兩兩組合，然後一個當Primary AC做主要負責人，另一個人做輔助。最後大家相互check，看這篇文章領域主席是否均衡考慮了所有的review，並且從裡面適當選取形成最終的推薦意見（metareview）。最終錄取和拒稿的決定肯定是兩個人以上的建議，保證公平正確。 放榜
AC對決定錄取的文章ID進行匯總後，所有AC上報給PC（也許形成一個txt文件）就是最終的錄取結果。 在作為學生投稿的時候，我對這個txt還是非常「敏感「的。發榜時間有可能會提前一些於網站上公布的時間，可能因為那AC會議的效率比較高，大家已經結束討論。有時候在正式公布之前，心血來潮刷一下官網，就真的有一個神奇的txt文件（也可能是網頁的鏈接）貼出來了，總之都是一堆數字。我記得當時面對這些數字的時候，一般手是抖的，會戰戰兢兢地搜索，會反覆確認是不是自己的paper。 每次的「開獎」都記憶猶新。 以上就是我的分享，希望對大家有所幫助。上述分享借鑒了大量前輩的經驗。個人見解不準確的地方，歡迎大家批評指正。
雷鋒網雷鋒網雷鋒網雷鋒網
