被“拒”掉的 ICLR 论文:因使用商业软件,被怀疑提高AI门槛

  • 2020 年 11 月 19 日
  • AI

微信图片_20201117165850.jpg

作者 | 蒋宝尚
编辑 | 陈彩娴
11月11日凌晨,ICLR 2021初审结果在官网公布,目前正式进入Rebuttal阶段。据Criteo AI Lab机器学习研究科学家Sergey Ivanov统计分析得到结论:如果论文接收率为20%,那么论文平均分数要达到6分以上才能被接收。
另外一个结论是:所有论文的平均分数为5.16(中位数为5.25)。这意味着,低于平均分的论文作者,要好好准备rebuttal的材料了。 
还有一类作者已经得到了明确的答复。在reddit上一位网友说,他的论文有一个得分为3,原因是:用了商业软件,增加了强化学习进入的门槛
 

1

因提高AI门槛被拒?

据OpenReview官网介绍,该论文标号为2137,主要的贡献是一个数据集,可以用于深度数据驱动的强化学习。
具体而言,它为离线的强化学习设计了一个基准,设计根据是现实数据集的关键属性。另外,作者还发布了基准任务和数据集,对现有算法和评估协议进行了全面评估,并提供了一个开源代码库。
目前,这篇文章有4个评审一名领域主席进行打分,得到了两个6分,一个3分,一个2分。其中,2分和3分代表着“强烈的拒绝”。
正如前面所述,有评审给出3分的理由是:使用了MuJoCo,这是一款商业软件包。评审说:“六个任务(Maze2D,AntMaze,Gym-mujoco)中的一半严重依赖于MuJoCo模拟器,该模拟器是一种商业软件,即使在学术上也不免费。另外,个人MuJoCo许可的费用为每年500美元。因此,我担心大多数究人员无法访问MuJoCo。
另外,评审表示:“鉴于MuJoCo潜在的高影响力,本文确实将极大地促进MuJoCo的使用,使RL更具有特权(意思是,使用有门槛),如果可访问性(易得性)问题得到解决,例如使用PyBullet作为引擎,我很乐意提高我的分数。
对于这一评审意见,一位名为Rasool Fakoor的读者持反对意见:1、同意评审关于“许可”的说法,但这不是拒绝该论文的理由,评审忽略了该论文的真正贡献。2、评审要求用PyBullet构建一个基准,但这可能需要花费几个月的时间。3、这种拒绝理由,只会打击研究人员投资建建立这类基准的信心,显然给领域带来负面影响。
经过讨论,原来给6分的评委也转变了态度。他说:我在撰写评语的时候,没有意识到此基准测试需要商业软件(Mujoco),我完全同意“这对于标准化基准测试是非常不利”的观点。
除此之外,给出2分的评审没有聚焦于“商业软件”的话题,他的理由是:虽然作者提供的数据集对离线强化学习研究人员来说非常有用,但在新的想法方面却没有任何进展。总体而言,这项工作的主要贡献是:在某个地方收集线下数据,减少了其他研究人员这样做所需的时间,因此,除了对数据进行标注外,作者似乎并没有做任何重要的工作。所以,我不认为这项工作应该在“高端会议”上发表。
最后,领域主席也发表了看法:许可证(易得性)问题是可以理解的,但不要拿这点大作文章,最重要的是考虑这篇文章最新的贡献在哪。正如第一位评审(给出2分的)所给的评价那样,我们会考虑所有因素,从而做出决定。
换句话说,根据2分评委的建议,这篇文章大概是凉了。
而在reddit上,大多数网友都是都是持同情的态度:把科学领域的可重复性等同于任何人的可重复性是一种愚蠢!
 

2

“吐槽大会”

本次ICLR 2021一共有3013篇论文提交,其中有856篇论文是来自NeurIPS 2020 Rejection 之后重新提交的。
回忆去年ICLR 2020的审稿,可谓是吐槽与争议不断。
比如,一篇ICLR 2020的论文在拿到满分评价后,其他的两位审稿人又连续给了2个1分评价,还有的论文三位审稿人均给出了6-6-6的高分,但区域主席却做出了不适用自己论文的评语。
另外在去年的时候,南京大学周志华教授曾曝出:ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文。
     
后来周教授又指出:开放评审进当参与者都是相当level的专家才有效,否则更容易被误导。学术判断不能“讲平等”,一般从业者与高水平专家的见识和判断力不可同日而语,顶会能“顶”正是因为有高水平专家把关,但现在已不可能了……

点击阅读原文,直达ICLR小组!