向线上出发:ICLR 2020的经验谈 | 翻译征文 | 雷锋字幕组

从今天起,ICLR2020 年线上会议的所有内容都支持开放访问,供世界各地的任何人学习。现在,线上会议网站的公共档案馆可以供大家浏览大会 2020 年的会议进程,并了解线上会议入口及其流程。已注册的参会人员网站仍可以使用。

第八届国际学习表征大会(ICLR 2020)的举办是非常具有挑战性的,但最终,组委会还是收获颇丰。我们最初在埃塞俄比亚举办会议的工作已经完成了许多,但后来新冠(COVID-19)大流行给了我们一个机会,让我们创造了一种新的会议举办方式。现在回顾这一周的线上会议,我们很满意,因为我们能够证明线上会议是分享科学和打造国际机器学习社区的可行方式,并且许多有意义的连接通道已经成为了可能。

感谢大家在这个充满变革与探索的时代里给予我们支持、耐心和善意。我们感谢作者,感谢研讨会和社交活动的组织者,感谢我们的志愿者,以及每一位报名参加的人。在你们的共同努力下,ICLR2020 得以实现,并取得了成功。

我们知道,要为大家创造更好的线上会议体验,还有很多事情要做。我们希望这第一次线上会议是一次值得共同发扬光大的会议。为实现这一目标,本文总结了我们对 ICLR2020 线上会议在设计和体验上的一些重要反思。

null

ICLR 2020关键数据统计

  • 注册人数 5622 人
  • 涉及国家 89 个
  • 发言者 1336 人
  • 每篇论文单页平均浏览量 200
  • 总页数浏览量 100W+
  • 互动信息 10W+
  • 视频观看量 10W+
  • 赞助商展位平均滞留时间 10 分钟

设计原则

我们在处理线上会议的方法中采用了两个关键原则——包容性和互动性。每当我们发现自己需要做出困难的决定或在相互竞争的方法之间做出取舍时,我们就会回到这些原则。这些原则对我们意味着什么?

包容性

  • 异步先行。会议必须不受时区限制,以便每个人都能在健康的工作时间内参加会议。这意味着会议必须以异步为先,这样大家都不需要在非正常时间起床,每个人都可以创建自己的活动流程,补上错过的东西,或者根据需要提前跳过。
  • 延展直播会议。直播部分必须尽可能均匀地分布在世界各地。为此,我们每天在全球各地的时区举办 5 场海报会议,每篇论文都会(在 2 个不同的会议)展示两次。
  • 在全球范围内都可参加。会议的所有部分必须在全球范围内都可以访问。这意味着我们不能使用只在某些国家使用的工具和服务,我们需要找到简单的方法来克服任何限制。
  • 低成本。参会成本不应该成为障碍。我们提供了一些免费注册的机会,并将费用降到尽可能低的程度,同时仍让收入能够支付所需的服务费用。

互动性

  • 聊天无处不在。我们需要支持尽可能多的互动形式。结合包容性原则,这意味着会议的每个组成部分都有一个与之相关的聊天频道,以实现异步、直接和开放的对话。
  • 面对面的对话。海报会议是通过视频通话进行的,每篇论文分享两次。我们还为每一位主旨演讲者举办了一个额外的的现场问答,让更多的人可以直接向我们的演讲者提问。
  • 社交化。我们要求举办社交聚会,让大家围绕着共同的兴趣和主题进行聚会。
  • 自组织。我们希望有直接的和即兴的互动方式的机会。我们尝试过即时指导会议、临时会议和重复社交活动。

null

试验过的用于互动的虚拟环境图片

经验和建议

我们在 6 周的时间内把整个线上会议召集在一起,所以我们发现很多问题都可以通过更多的讨论和时间来解决。总的来说,我们相信用这种方式来举办线上机器学习会议,实现了我们所有的目标。我们在这里分享一些反思和需要改进的地方。

组织和交流

  • 早期的沟通。虚拟形式是一种新的形式,需要在前期做大量的安排工作。如果能够提前小范围沟通,可以帮助消除困惑,建立起对虚拟形式的了解,帮助大家对这种新形式有更多的准备。
  • 费用和奖学金。虚拟形式为包容性开辟了新的途径,这意味着我们必须支持参与的计划需要相应地增加。他们需要清晰、容易找到,并留出时间来申请。我们确实通过我们的志愿者支持了很多免费注册,通过我们的社区小组提供额外的注册支持。开诚布公的讲,多种渠道进行宣传,这将帮助这些项目更好地触达需要他们的人。
  • 志愿者。我们有 500 名志愿者,他们是我们这次会议的一大亮点。我们的志愿者们精力充沛,分布在世界各地,致力于改善大家的虚拟体验。我们为志愿者提供免费注册,来换取他们对会议不同职能的支持。志愿者们可以提前进入会议,并帮助我们对系统的各方面进行压力测试。在整个会议期间,他们是一个随叫随到的帮助小组,帮助任何有技术问题或困难的人。志愿者项目是我们强烈推荐的一个项目。
  • 参会率和参与度。我们的参会人数比我们预期的要多。2019 年的线下会议有 2700 人参会,2020 年的线上会议有 5600 人参会。很可能是,没有线下会议的资金和签证限制,使得更多的人能够参加其中。这个数字仍然非常可控,因为不同时区之间的互动是异步的。在任何时候,可能有 200-300 人参与到一个活动中来。我们还怀疑参与度有偏差,有些人参加了很多活动,而有些人很少出席。我们怀疑有些人没有全程参与,因为他们没有请假,或是他们在家里而不是在专门的实体空间参与活动有困难。为了更好地参与虚拟活动,需要在参与方面进行文化转变。
    null

会议组成部分

  • 预先录制的视频。所有的讲座都是预先录制的,并在会议开始时提供。在答疑之前,大家可以观看应邀参加的讲座并讨论问题(以及在答疑之前对问题进行投票),这使得答疑环节的参与度和信息量都很高。每篇论文都有 5 分钟的简短视频,这对于了解论文的主要信息也很有帮助。所有视频的质量都出乎意料的好,录制系统简单易用。
  • 海报作业。作业总体上是可行的,我们在作者的需求和各地活动的可用性之间取得了很好的平衡。如果能有更多的时间,就能避免作者们时间要求上的缺失和错误,也让我们可以和作者们一起迭代安排。
  • 海报的互动性。通过视频完成的海报会议需要与线下会议上所惯用的方式不同。有一种活力的缺失,而这种活力通常来自演讲者和与会者分享。演讲者与听众脱节,不知道有多少人在参与他们的海报/视频。参与者不愿意加入呼叫,也不愿意成为唯一的人,有一种压力感,要么是阅读过论文,要么是有见解或 “智慧 “的问题。这也是未来最需要迭代的地方,通过找到一种方式,让作者看到自己的视频的观看次数、已经有多少人在视频 call 上,以及在其他创意的虚拟环境中,这才是未来最需要迭代的地方。但这也需要大家改变对海报会议工作方式的观念,也是需要大家在适应这些新的参与形式后,不断发展的。
  • 演讲者问答。演讲者问答环节的效果如愿以偿:这让我们能够与演讲者进行更有意义的交流,通过多种提问途径减少了提问的障碍,并让更多的人提出问题。更棒的是,我们的许多演讲者在会议结束后还加入了他们的聊天环节,并在聊天中继续回答问题(有一次超过一个多小时)。直播会议的时间是为了方便演讲者而选择的,但这些会议的视频在之后马上就可以看到,所以错过直播的人可以随时观看。
  • 研讨会。研讨会的设计难度较大。它们需要技术团队和主席之间进行大量的协调。我们还需要与各个研讨会的组织者进行更多的沟通,他们需要提供研讨会的时间安排、演讲者的详细信息,帮助建立起对技术工具集和流程、网站需求等方面的理解。在未来,这需要一个稍大一点的主席团队,以及其他技术工具,让研讨会组织者可以对主会议网站的组件进行定制,供他们自己使用。

互动性和社交化

  • 社交活动的地域分布。我们呼吁举办线上聚会,并得到会议的支持,最终在整个一周内举办了 29 场社交活动。一系列社交活动没有像我们希望的那样分布在全球各地,更有针对性的辐射范围将使我们能够支持分布在世界各地的社交活动。主题的覆盖面也不完整;同样,如果有更多的时间,我们很可能会对社交活动的特定主题进行征集,以促进与会者之间的互动。
  • 更多的互动性。我们发现,小组通过聊天的方式自发组织了话题见面会。此外,还出现了一个由社区驱动的导师计划,在这个计划中,更有经验的研究人员会通过视频聊天回答年轻研究人员关于研究问题和职业发展方向的问题。未来的改进措施可以是预先安排视频见面会(随机或按兴趣匹配,如神经匹配方法),并将这种导师辅导作为会议计划的一部分,在整个会议周内进行。未来我们还可以创建常设的线上咖啡会,并探索其他的互动方式。我们尝试的另一个互动部分是 ICLRTown,这是一个让与会者在线上环境中相互交流的虚拟环境,用户量不大,但得到了积极的反响。

技术系统和支持

  • 聊天,视频,预录视频。我们选择的工具都是可以控制数据和使用的,可以在全球范围内的任何地方工作的工具,如果可能的话,这些工具都是开源项目,并且可以简单地集成到我们的系统中。我们在使用 SlidesLive、Rocket.Chat 和 Zoom 来满足这些需求时没有遇到任何问题,并且会再次使用它们。
  • 单点登录。将技术系统减少到单点登录,可以让大家的体验更简单、更方便。此外,这将使我们能够实现更多的安全和隐私方面的功能。
  • 网站开发。我们在很早的时候就发现,没有一个能将我们所需要的不同工具结合在一起的门户网站。我们探索了一些可用的平台,但决定自建这个平台,可以最好地服务于我们的会议文化和需求。这意味着我们的团队成员将承担起技术开发的重担。今后,我们需要核心团队的一部分网站开发人员,并承担起这个重担。
  • 随时的支持。我们的志愿者全天候的在全球范围内提供即时的支持,通过#helpdesk 频道为参与者提供支持,效果非常好。会议期间,由于作者们公开分享了他们的链接,因此发生了两起 “ZOOM 瘫痪 “事件。解决这个问题需要更多随叫随到的支持,以便能够创建新的视频链接并在整个网站上更新。未来还需要通过整个社区的共同责任和其他技术工具来防止这种情况的发生,也需要开发其他方式。
  • 机器学习在会议的设计中。在有意义的地方,我们希望在会议方案和体验本身的设计中使用机器学习。我们使用了一个隐变量模型进行审稿评分校准,使用视觉模型从每篇论文中提取缩略图用于网络上,使用自然语言工具将相关论文可视化,并使用推荐系统为论文和与会者创建一组平衡的推荐集。线上会议创造了一个新的环境,我们可以在其中尝试和探索会议本身所展示的许多机器学习方法。

null

ICLR2020 论文可视化

为 ICLR 2021 做准备

  • 祝贺:我们向 ICLR 2021 项目主席致以最好的祝愿和祝贺:Katja Hofmann (高级项目主席)、Alice Oh、Ivan Titov 和 Naila Murray。
  • 成为 ICLR 2021 审稿人:如果你以前没有参加过 ICLR 的审稿,并希望被考虑成为下一轮的审稿人或地区主席,请填写以下简短的表格://surveymonkey.co.uk/r/QFBT67V
  • 下一轮截止日期:下一轮截止日期是 2020 年 10 月初,会议定在 2021 年 5 月的第一周。是否线上进行,待定。

各位 ICLR 2020 组委会的代表们,签名

Sasha Rush 和 Shakir Mohamed(总主席和高级项目主席);Dawn Song、Kyunghyun Cho、Martha White(项目主席);Asja Fischer 和 Gabriel Synnaeve(研讨会主席);Adam White(社交主席)、Hendrik Strobelt(线上主席);Anima Anandkumar 和 Kevin Swersky(多样性主席);Andrea Brown 和 Lee Campbell(ICLR 秘书),以及 ICLR 董事会。

现在,我们将在会议中休息一段时间,并聆听 Drake 的Started from the Bottom。感谢大家在这个不确定的时期给予我们的支持。我们在写这篇文章的同时,也在为下一届委员会收集最后的笔记。Started from the Bottom