怎麼寫 Rebuttal 才能讓評審和領域主席心服口服?

  • 2020 年 5 月 28 日
  • AI

ECCV 會議評審意見已經放出,已經確定可以收錄的作者,自然歌頌審稿人慧眼識才,但更多的作者在知乎上強懟review的同時,也在精心準備Rebuttal。

什麼樣的Rebuttal回復會讓評審心服口服,針對不同的意見和不同的評審應該有不同的戰術打法。但總體上的核心原則是:Rebuttal到底!

Rebuttal的對象大概有兩種,第一種是審稿人,他讀過你的論文,但可能忘記了細節,或者一開始就沒有理解你的論文。第二種是AC(領域主席),這類對象可能對你的論文更加的不熟悉,他們讀到的可能只是一系列的評論和反駁。 所以,你寫Rebuttal的主題應該是:澄清和說服。對於評審來說,需要澄清疑問,回答問題,糾正誤解,真誠的吸收反饋,改進你的工作。對於AC來說,說服他們相信你已經做出了真誠的努力,並提交具有代表性的評審意見,幫助他們了解審稿人的顧慮是否得到解決。

根據一些經驗,當前AI頂會領域作者的通病是:只關注審稿人,而忽略了AC。其實,整個Rebuttal的過程應該看做一場辯論賽,雖然審稿人並不是「對手」,但應該當做「對手」來對待,而AC則可以賦予裁判的角色。

所以,這時候「Rebuttal」的戰術打法和辯論賽相同:說服裁判相信你的論點遠比讓對手改變想法更重要。下面給予一些具體的建議,建議的核心在於儘可能的讓「裁判」和「對手」都滿意。

收集評審意見的電子表格樣例

1、逐條列出審稿人的評審意見。用一個電子表格將每個審稿人的評論、問題、關注點組織起來。這種將所有東西都放在同一個位置的做法可以防止遺漏重點,也能夠及時確定是否要新增實驗。

2、腦補可能的回復。建立電子表格的時候單獨留出一個欄目寫你認為審稿人的可能回復。寫的時候大膽一些,不需要考慮文體和篇幅,但要有說服力。

3、寫一份 rebuttal 草稿。草稿不用考慮篇幅,在簡明扼要的同時,覆蓋每一個要點,並對要點進行優先性排序。

4、評審和修訂。重新閱讀最初的評審意見和電子表格,並確保所有內容都得到解決。

示例如上

18個小貼士詳解 Rebuttal 四步法

小貼士1:積極的開始。做一個審稿意見的總結,如上圖所示,要突出評審的積極意見,Rebuttal的內容主要集中在負面的反饋。小貼士2:確定優先級。從你最大的問題開始補救,其次再解決不那麼重要的問題。 

貼士3示例

小貼士3:先讓審稿人自己說話,然後你直接回復。簡潔完整地引用審稿人的問題或者關注的核心內容。要給出細節,描述語境或者解釋自己的立場。

示例:1)這是多次運行實驗時候得出的平均數么?

答:是的,我們對5個隨機種子進行了平均

2)訓練模型的時候是否使用了分割掩碼(segmentation mask)?

答:沒有,我們只是用來評估我們的結果     

3)總的來說,論文中的方法需要比基線更多的人工標註?

答:不完全是。雖然我們的方法的前幾次迭代更多地需要人力參與,但隨着我們收集的數據越來越多,我們的方法對人的依賴性比基線要小。對於典型的數據集大小,我們總體上使用了更少的標註。例如,對於具有 10k 圖像的 GNART20,我們的方法使用了 2.4k 人類標註,而基線使用了 2.8k。

4)你的基線與Smith等人在去年CVPR上面的報告相符么?

答:差不多。Smith等人公開的代碼和他們在CVPR報告中提到的代碼有1%的性能差異,我們的基線與前者相符合。

5)你對現實環境進行評估了嗎?

答:我們不同意這個問題的前提。雖然論文中用的環境都是模擬的,但它們是高度逼真的。6)你為什麼不拿GMAP來比較呢?在我們的設置下,GMAP的價格高得令人望而卻步。粗略的估計,對比GMAP需要128個GPU 3個月的時間。

小貼士4:要善於交談。貼士3給出的示例都是對話性質的,所以你的回應不能表現出「好鬥」。

小貼士5示例小貼士5:回答問題的意圖。不要局限在問題本身,要明白評論的意圖。例如,評審的問題「為什麼不在GLORP3上進行評估?」可能會讓你的實驗受到質疑。你回答的時候,指出已經對X、Y和Z進行了評估就能應付這個問題,畢竟提醒其他評審和領域主席注意你廣泛的實驗評估也是有必要。

 

小貼士6示例

小貼士6:不要害怕強調。回答不僅直接,也要有重點,例如:”表4中的第2行正好說明了這一點。”、 「在測試的時候,我們不需要 human-in-the-loop。」

小貼士7示例

小貼士7:隨意點撥一下。如果評審落下了什麼重要的點,你需要簡單的幫助評審回顧一下。

小貼士8:細節也要點撥。假設評審和領域主席對你的論文記得不多,他們很可能不會閱讀第二遍。你可以重新介紹論文中的術語,提醒他們實驗設置的相關細節。

小貼士9示例小貼士9:對論文已經包含的細節要自信,如果審稿人要求的東西已經在論文中出現了,那就理直氣壯的提出來。可以提供圖、表中的相關數字,然後在Rebuttal中重述,讓他們相信你的論文並不缺乏重要的細節。   

小貼士10示例

小貼士10:整合共同關注的問題。如果多個審稿人有共同關注的問題,可一次性回復多個審稿人,從而節省時間。小貼士11:讓審閱人儘可能容易地發現與他們相關的回復。小貼士12:統計數字勝於雄辯。與其與審稿人和領域主席爭論,不如給他們提供數據來支持你的論點。  

小貼士13:說不如做。例如,與其說「我們將在論文中解釋D_{rt}代表什麼」,不如在Rebuttal中解釋它代表什麼。

小貼士14. 要善於接受,講道理。大多數評審和領域主席是你的同事和同行。與其爭論「審稿人的建議可能行不通」,不如試一試,看看它是否行得通。也許會的!

小貼士15:實話實說。審稿人可能會暗示你再做一次實驗,如果條件不允許,你可以直接回復他「條件不允許」。

小貼士16示例

小貼士16:將不良審稿人曝光。在某些情況下,審稿人可能沒有遵循規範,你可以曝光他們,但一定要確保其他審稿人或者領域主席認識到這一點。指出不合理或無根據的意見的同時,可以向評審委員會提出保密請求(如適用)。

小貼士17:對審稿人的工作給予肯定。如果審稿人在審稿過程中做出了建設性的努力,要感謝他們。例如他們給你提供了錯別字列表、相關工作的指引、未來工作的詳細設想等等。可以在末尾加一個短文,致謝他們!

小貼士18:請記住,這不只是科學上的互動,而是與其他人的社會政治互動。所以,你要明白Rebuttal的另一個核心立場應該是:達成共識。

via //medium.com/@deviparikh/how-we-write-rebuttals-dc84742fece1

(雷鋒網)、(雷鋒網)、(雷鋒網)