GPT-3等三篇论文获NeurIPS 2020 最佳论文奖!华人一作获时间检验奖
- 2020 年 12 月 8 日
- AI
作者 | AI科技评论
刚刚,NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖两项大奖!
今年一共有三篇论文共同获得最佳论文奖,其中第二篇获奖论文就是来自OpenAI团队打造的今年AI圈最为火爆的GPT-3 !
时间检验奖则是由威斯康星麦迪逊分校团队发表于NeurIPS 2011上的一篇论文获得,其一作为本科毕业于清华大学计算机系的华人Feng Niu。

最佳论文奖

语言模型是解决NLP中一系列问题的现代技术的骨干部分。这篇论文表明,当将此类语言模型扩展到前所未有的参数数量时,语言模型本身可以用作少样本学习的工具,无需任何额外的训练就可以在许多NLP问题上取得非常出色的表现。
GPT-3是一个令人感到震撼的工作,有望对NLP领域产生重大影响,并经受住时间的考验。除了科学上的突破,这篇论文还对工作的深远影响进行了和全面且深入的诠释,可以作为NeurIPS社区思考如何考虑研究的实际影响的示例。

论文摘要:
列子集选择问题(CSSP)和Nystrom方法是机器学习和科学计算中构造大数据集、小低阶秩近似的主要工具之一。这个领域的一个基本问题是:大小为k的数据子集与最佳秩k近似的竞争程度如何?
我们开发了利用数据矩阵的光谱(spectra)特性的技术,以获得超出标准最差用例(worstcase)分析的改进近似保证。对于已知奇异值衰减率(如多项式或指数衰减)的数据集,我们的方法可以得到更好的边界(bound)。
我们的分析还揭示了一个有趣的现象:近似因子作为k的函数可能会出现多个峰和谷,我们称之为多重下降曲线(multipledescent curve)。
我们建立的一个下限表明,这种行为不是我们分析的产物,而是CSSP和Nystrom任务的固有属性。
最后,以径向基函数(RBF)核为例,本文证明了只要改变RBF参数,我们的改进边界和多重下降曲线都可以在真实数据集上观察到。
获奖理由:
从大矩阵中选择一个小型但有代表性的列向量子集并不容易。针对这个问题,找到一种基于基数受限的行列式点过程(determinantal point processes,DPP)的方法,就代表要提供一个实用的近似解决方案。
这篇论文针对最佳可能的低秩近似(low-rank approximation)推导了近似解中近似因子的新上限和下限,甚至可以捕获子集尺寸的多重下降行为。此外,该论文将分析进一步扩展,以获得Nyström方法。
由于这些近似技巧已在机器学习中得到广泛应用,因此,这篇论文有望产生重大影响,并为核方法、特征选择和神经网络的双下降行为等提供新的见解。
最佳论文获奖三:《No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium》
获奖理由:
相关均衡(correlated equilibria,CE)容易计算,对社会的帮助比常见的纳什均衡(Nash equilibria)大很多。在许多博弈中,CE都展示了一个令人惊讶的性能:可以通过简单且分散的算法将所谓的内部遗憾降到最低,从而找到CE。
这篇论文表明,在大规模博弈中,即广义(或树型)博弈中,确实存在能够将遗憾降到最低的、收敛到CE的算法。
论文结果通过博弈论、计算机科学和经济学的交叉解决了一个长期存在的开放性问题,并且对涉及调解器的博弈具有潜在的巨大影响,比如通过导航app有效规划交通路线。
时间检验奖
获奖论文:《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》.
论文链接://papers.nips.cc/paper/2011/file/218a0aefd1d1a4be65601cc6ddc1520e-Paper.pdf
论文作者:Feng Niu、Benjamin Recht、Christopher Re、Stephen J. Wright。
论文华人一作Feng Niu
这篇论文首先展示了如何在没有任何锁定机制的情况下将普遍使用的随机梯度下降算法并行,同时又能实现强大的性能。
近期,一些研究人员虽然提出了并行SGD的方法,但他们的方法均需要不同工作器进行内存锁定和同步。
本文针对稀疏问题提出了一种简单的策略,称为Hogwild!方法:让每个工作器在不同的数据子集上同时运行SGD,并在托管模型参数的共享内存中执行完全异步更新。
通过理论和实验,他们证明Hogwild! 成功在满足适当稀疏条件的数据上实现了相对于处理器数量的近乎线性的加速。
3
获奖论文评选过程
-
该论文是否能经受实验考验? -
它是否提供新的(最好是深入的)见解? -
它是具有创意的、意想不到的吗? -
它会改变人们未来的思维方式吗? -
它是否严谨而优雅,但并未夸大其重要性? -
它是科学的、可复现的吗? -
它是否准确地描述了研究的更广泛影响?
最佳论文奖评选过程
时间检验奖评选过程
