怎么写 Rebuttal 才能让评审和领域主席心服口服?

  • 2020 年 5 月 28 日
  • AI

ECCV 会议评审意见已经放出,已经确定可以收录的作者,自然歌颂审稿人慧眼识才,但更多的作者在知乎上强怼review的同时,也在精心准备Rebuttal。

什么样的Rebuttal回复会让评审心服口服,针对不同的意见和不同的评审应该有不同的战术打法。但总体上的核心原则是:Rebuttal到底!

Rebuttal的对象大概有两种,第一种是审稿人,他读过你的论文,但可能忘记了细节,或者一开始就没有理解你的论文。第二种是AC(领域主席),这类对象可能对你的论文更加的不熟悉,他们读到的可能只是一系列的评论和反驳。 所以,你写Rebuttal的主题应该是:澄清和说服。对于评审来说,需要澄清疑问,回答问题,纠正误解,真诚的吸收反馈,改进你的工作。对于AC来说,说服他们相信你已经做出了真诚的努力,并提交具有代表性的评审意见,帮助他们了解审稿人的顾虑是否得到解决。

根据一些经验,当前AI顶会领域作者的通病是:只关注审稿人,而忽略了AC。其实,整个Rebuttal的过程应该看做一场辩论赛,虽然审稿人并不是“对手”,但应该当做“对手”来对待,而AC则可以赋予裁判的角色。

所以,这时候“Rebuttal”的战术打法和辩论赛相同:说服裁判相信你的论点远比让对手改变想法更重要。下面给予一些具体的建议,建议的核心在于尽可能的让“裁判”和“对手”都满意。

收集评审意见的电子表格样例

1、逐条列出审稿人的评审意见。用一个电子表格将每个审稿人的评论、问题、关注点组织起来。这种将所有东西都放在同一个位置的做法可以防止遗漏重点,也能够及时确定是否要新增实验。

2、脑补可能的回复。建立电子表格的时候单独留出一个栏目写你认为审稿人的可能回复。写的时候大胆一些,不需要考虑文体和篇幅,但要有说服力。

3、写一份 rebuttal 草稿。草稿不用考虑篇幅,在简明扼要的同时,覆盖每一个要点,并对要点进行优先性排序。

4、评审和修订。重新阅读最初的评审意见和电子表格,并确保所有内容都得到解决。

示例如上

18个小贴士详解 Rebuttal 四步法

小贴士1:积极的开始。做一个审稿意见的总结,如上图所示,要突出评审的积极意见,Rebuttal的内容主要集中在负面的反馈。小贴士2:确定优先级。从你最大的问题开始补救,其次再解决不那么重要的问题。 

贴士3示例

小贴士3:先让审稿人自己说话,然后你直接回复。简洁完整地引用审稿人的问题或者关注的核心内容。要给出细节,描述语境或者解释自己的立场。

示例:1)这是多次运行实验时候得出的平均数么?

答:是的,我们对5个随机种子进行了平均

2)训练模型的时候是否使用了分割掩码(segmentation mask)?

答:没有,我们只是用来评估我们的结果     

3)总的来说,论文中的方法需要比基线更多的人工标注?

答:不完全是。虽然我们的方法的前几次迭代更多地需要人力参与,但随着我们收集的数据越来越多,我们的方法对人的依赖性比基线要小。对于典型的数据集大小,我们总体上使用了更少的标注。例如,对于具有 10k 图像的 GNART20,我们的方法使用了 2.4k 人类标注,而基线使用了 2.8k。

4)你的基线与Smith等人在去年CVPR上面的报告相符么?

答:差不多。Smith等人公开的代码和他们在CVPR报告中提到的代码有1%的性能差异,我们的基线与前者相符合。

5)你对现实环境进行评估了吗?

答:我们不同意这个问题的前提。虽然论文中用的环境都是模拟的,但它们是高度逼真的。6)你为什么不拿GMAP来比较呢?在我们的设置下,GMAP的价格高得令人望而却步。粗略的估计,对比GMAP需要128个GPU 3个月的时间。

小贴士4:要善于交谈。贴士3给出的示例都是对话性质的,所以你的回应不能表现出“好斗”。

小贴士5示例小贴士5:回答问题的意图。不要局限在问题本身,要明白评论的意图。例如,评审的问题“为什么不在GLORP3上进行评估?”可能会让你的实验受到质疑。你回答的时候,指出已经对X、Y和Z进行了评估就能应付这个问题,毕竟提醒其他评审和领域主席注意你广泛的实验评估也是有必要。

 

小贴士6示例

小贴士6:不要害怕强调。回答不仅直接,也要有重点,例如:”表4中的第2行正好说明了这一点。”、 “在测试的时候,我们不需要 human-in-the-loop。”

小贴士7示例

小贴士7:随意点拨一下。如果评审落下了什么重要的点,你需要简单的帮助评审回顾一下。

小贴士8:细节也要点拨。假设评审和领域主席对你的论文记得不多,他们很可能不会阅读第二遍。你可以重新介绍论文中的术语,提醒他们实验设置的相关细节。

小贴士9示例小贴士9:对论文已经包含的细节要自信,如果审稿人要求的东西已经在论文中出现了,那就理直气壮的提出来。可以提供图、表中的相关数字,然后在Rebuttal中重述,让他们相信你的论文并不缺乏重要的细节。   

小贴士10示例

小贴士10:整合共同关注的问题。如果多个审稿人有共同关注的问题,可一次性回复多个审稿人,从而节省时间。小贴士11:让审阅人尽可能容易地发现与他们相关的回复。小贴士12:统计数字胜于雄辩。与其与审稿人和领域主席争论,不如给他们提供数据来支持你的论点。  

小贴士13:说不如做。例如,与其说“我们将在论文中解释D_{rt}代表什么”,不如在Rebuttal中解释它代表什么。

小贴士14. 要善于接受,讲道理。大多数评审和领域主席是你的同事和同行。与其争论“审稿人的建议可能行不通”,不如试一试,看看它是否行得通。也许会的!

小贴士15:实话实说。审稿人可能会暗示你再做一次实验,如果条件不允许,你可以直接回复他“条件不允许”。

小贴士16示例

小贴士16:将不良审稿人曝光。在某些情况下,审稿人可能没有遵循规范,你可以曝光他们,但一定要确保其他审稿人或者领域主席认识到这一点。指出不合理或无根据的意见的同时,可以向评审委员会提出保密请求(如适用)。

小贴士17:对审稿人的工作给予肯定。如果审稿人在审稿过程中做出了建设性的努力,要感谢他们。例如他们给你提供了错别字列表、相关工作的指引、未来工作的详细设想等等。可以在末尾加一个短文,致谢他们!

小贴士18:请记住,这不只是科学上的互动,而是与其他人的社会政治互动。所以,你要明白Rebuttal的另一个核心立场应该是:达成共识。

via //medium.com/@deviparikh/how-we-write-rebuttals-dc84742fece1

(雷锋网)、(雷锋网)、(雷锋网)