米兰·(milan)中国官方网站-NeurIPS 2021获奖论文出炉！斯坦福表现亮眼，“随机变分推理”获时间检验奖，还有新增奖项
编纂 | 青暮
昨日， NeurIPS 2021宣布了获奖论文名单！
NeurIPS，全称神经信息处置惩罚体系年夜会（Conference and Workshop on Neural Information Processing Systems），作为关在呆板进修及计较神经科学的国际集会，每一年固定于12月进行，由NIPS基金会主理。NeurIPS是呆板进修范畴的顶级集会 ，是神经计较方面最佳的集会之一 。于中国计较机学会的国际学术集会排名中，NeurIPS为人工智能范畴的A类集会。
该集会最早是由毗连学派（connectionist）神经收集的学者在1987年于加拿年夜开办。以前发布于NeurIPS的论文包含万象，从纯真的工程问题到利用计较机模子来理解生物神经元体系等各类主题。而近几年论文的主题重要以呆板进修，人工智能及统计学为主。
一年一度，各路AI年夜神“西岳论剑”，妙手云集，备受瞩目。本年NeurIPS将在下周正式拉开帷幕！
于预备集会之际，组委会决议“花点时间”公布2021年卓异论文奖、时间查验奖以和数据集及基准测试最好论文奖名单。
本年共有6篇论文当选为卓异论文奖（Outstanding Paper Awards），评比委员奖饰这些论文“具备极好的清楚度、洞察力、创造力及影响深远的潜力”。
下面，咱们将逐一先容这6篇佳作（按论文ID挨次摆列）。
由微软研究院及斯坦福年夜学互助完成的《A Universal Law of Robustness via Isoperimetry》
论文地址：https://openreview.net/pdf?id=z71OSKqTFh7
作者：Sebastien Bubeck, Mark Sellke
获奖理由：这篇论文提出了一个理论模子来注释为何很多进步前辈的深度收集需要比光滑拟合练习数据所需更多的参数。尤其是于关在training漫衍的某些纪律性前提下，O(1)-Lipschitz 函数于标签噪声标准如下插入练习数据所需的参数数目为nd，此中n是练习示例的数目，d是数据的漫衍。这个成果与传统的成果形成为了光鲜的对于比，传统的成果注解一个函数需要n个参数。对于练习数据举行插值，为了光滑地插值，这个分外的因子d显患上很须要。该理论简朴而优雅，与一些经验不雅察到的模子巨细一致，这些模子对于MNIST分类具备鲁棒的泛化能力。这项事情也提供了关在为 ImageNet分类开发鲁棒模子所需的模子巨细的可测试猜测。
由由DeepMind团队、普林斯顿年夜学计较机科学系及布朗年夜学计较机科学系互助完成的《On the Expressivity of Markov Reward》
论文地址：https://openreview.net/pdf?id=9DlCh34E1bN
作者：David Abel, Will Dabney, Anna Harutyunyan, Mark K. Ho, Michael L. Littman, Doina Precup, Satinder Singh
获奖理由：马尔可夫奖励函数是不确定性及强化进修下挨次决议计划的重要框架。这篇论文细心、清楚地论述了马尔可夫奖励什么时候足以使体系设计者可以或许按照它们对于特定举动的偏好、对于举动的偏好或者对于状况及动作序列的偏好来指定使命。论文作者经由过程简朴的申明性示例证实，存于一些没法指定马尔可夫奖励函数来激发所需使命及成果的使命。幸运的是，研究职员发明，可以于多项式时间内确定所需设置是否存于兼容的马尔可夫奖励，假如存于，也存于多项式时间算法来于有限决议计划历程设置中构建如许的马尔可夫奖励。这项事情阐了然奖励设计的挑战，并可能斥地将来研究马尔可夫框架什么时候以和怎样足以实现人类好处相干者所需的机能的路子。
由由蒙特利尔年夜学MILA试验室及google研究院年夜脑团队互助的《 Deep Reinforcement Learning at the Edge of the Statistical Precipice 》
论文地址：https://openreview.net/pdf?id=uqv8-U4lKBe
作者：Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare
获奖理由：
要领的严酷比力可以加快成心义的科学前进。本文提出了提高妙度强化进修算法比力严谨性的实用要领：详细而言，新算法的评估应提供分层的指导步伐置信区间、跨使命及运行的机能概况以和四分位数均值。该论文夸大，于很多使命及屡次运行中陈诉深度强化进修成果的尺度要领可能使评估新算法是否代表已往要领的一致及可不雅的前进变患上坚苦，并经由过程实证示例申明了这一点。所提出的机能择要旨于经由过程每一个使命的极少量运行举行计较，这对于在很多计较资源有限的研究试验室来讲多是须要的。
由华盛顿年夜学、艾伦人工智能研究院、斯坦福年夜学互助完成的《MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers》
论文链接：https://openreview.net/forum?id=Tqx7nJp7PR
作者：Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui
获奖理由：本篇研究提出了MAUVE——一种用在比力模子天生文天职布及人工天生文天职布的散度器量。这个设法简约而不简朴，它基本上利用了被比力的两个文本的量化嵌入（soft）KL 散度丈量持续族。他们提出的MAUVE器量基本上是对于持续器量系列的集成，旨于捕捉第I类过错（天生不切现实的文本）及第II类过错（不捕捉所有可能的人类文本）。试验注解，MAUVE辨认了模子天生文本的已经知模式，与以前的差异器量比拟，而且与人类判定的相干性更好。这篇论文很是优异，研究问题于开放式文本天生快速成长的配景下很主要，成果也很明确清楚。
由法国巴黎 PSL 研究年夜学、洛桑联邦理工学院计较机与通讯科学学院、洛桑联邦理工学院及 MSR-Inria结合中央互助完成的《 A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip 》
论文地址：https://openreview.net/pdf?id=bGfDnD7xo-v
作者：Mathieu Even, Raphaël Berthier, Francis Bach, Nicolas Fla妹妹arion, Pierre Gaillard, Hadrien Hendrikx, Laurent Massoulié, Adrien Taylor
获奖理由：
本文描写了Nesterov加快梯度要领的“持续”版本，此中两个自力的向量变量于持续时间内配合演化，这很像之前利用微分方程来理解加快度的要领，但研究职员利用了由泊松点历程决议的随机时间的梯度更新。这类新要领致使了（随机）离散时间要领：（1）与Nesterov要领具备不异的加快收敛性；(2) 带有益用持续时间参数的清楚透明的阐发，这可以说比以前对于加快梯度要领的阐发更易理解；(3) 防止了持续时间历程离散化的分外过错，这与以前利用持续时间历程理解加快要领的频频测验考试形成光鲜对于比。
由魏茨曼科学研究所、Facebook AI研究院及加州年夜学洛杉矶分校配合互助的《Moser Flow: Divergence-based Generative Modeling on Manifolds 》
论文链接：https://openreview.net/pdf?id=qGvMv3undNJ
作者：Noam Rozen, Aditya Grover, Maximilian Nickel, and Yaron Lipman
获奖理由：
作者们提出了一种于黎曼流形上练习持续归一化流（CNF）天生模子的要领。要害思惟是使用Moser（1965）描写了CNF（Moser称之为流形上的标的目的连结自同构）的解。这个解应用一类具备几何正则性前提的受限常微分方程，方针密度函数的散度显式界说。Moser Flow要领利用解决方案观点来开发基在参数化方针密度预计器（可所以神经收集）的CNF要领。练习相称在简朴地优化密度预计器的散度，它逃避运行 ODE 求解器（尺度反向流传练习所需）。试验注解，与以前的CNF事情比拟，练习时间更快，测试机能更好，而且于具备非恒定曲率的隐式曲面（如Stanford Bunny model）上建模密度。总的来讲，使用几何法则性前提来避开昂贵的反向流传练习的观点可能具备更广泛的兴致。
2时间查验奖（Test of Time Award）由普林斯顿年夜学及法国高档国度信息与主动化研究所配合完成的《Online Learning for Latent Dirichlet Allocation》，发表时间为2010年。
论文链接：https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf
作者：Matthew D. Hoffman, David M. Blei, Francis Bach
获奖理由：
本文先容了一种基在随机变分梯度的推理要领，用在于超年夜文本语料库上练习潜于的Dirichlet分配（LDA）模子。于理论方面，它验证了练习历程收敛在局部最优，出人意表的是，简朴随机梯度更新对于应在证据下限（ELBO）方针的随机天然梯度。于实证方面，作者初次注解，LDA可以轻松地于几十万个文档的文本语料库长进行练习，使其成为解决“年夜数据”问题的实用技能。这篇论文于ML社区孕育发生了巨年夜的影响，由于它代表了更广泛模子一般随机梯度变分推理历程的第一块垫脚石。于本文以后，再也没有理由利用完备的批量练习步伐举行变分推理了。
评比历程：
时间测试奖的设定是授予10年前NeurIPS集会论文的。2020年，评审委员审议了时间规模更宽泛的论文，选择2011年而非2010年的佳作。是以，本年组委会决议将获奖论文的选择实现限定为10年或者11年。由于10年这次集会上发表的任何论文都没有得到时间查验奖，颠末稳重思量，将重点时限放于2010年。
委员会按照引文数目对于NeurIPS 2010年的所有论文举行排名。制订了约莫500篇援用量的临界值。于这尺度下挑选了16篇文章。集会会商中委员会的四名成员都撑持一篇论文——《Online Learning for Latent Dirichlet Allocation》。每一个委员会成员对于这篇论文的评价排行都高在所有其他候选论文，以绝对于上风超出跨越第二预选论文，终极一致经由过程被评为时间查验奖。
3数据集及基准测试最好论文奖（Datasets Benchmarks Best Paper Awards）本年，NeurIPS 推出了全新的“数据集与基准测试”评比流程。
审稿人打出分数确定了一份简短的论文列表，依据咨询委员会所有成员投票，从列表中评比出两篇最好论文奖。
由加州年夜学洛杉矶分校、google纽约研究院及google洛杉矶研究院互助完成的《 Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research 》
论文地址：https://openreview.net/pdf?id=zNQBIBKJRkd
作者：Bernard Koch, Emily Denton, Alex Hanna, Jacob Gates Foster
获奖理由：
这篇论文阐发了数千篇论文并研究了差别呆板进修子社区中数据集利用的蜕变历程，以和数据集采用及创立之间的彼此作用。研究职员发明，于年夜大都社区中，跟着时间的推移，利用更少的差别数据会议发生蜕变，而且这些数据集来自少数精英机构。这类蜕变是有问题的，由于基准变患上不那末具备遍及性，存于在这些数据集来历中的成见可能会被放年夜，新的数据集变患上更难被研究集体接管。这对于整个呆板进修社区来讲是一个主要的“警钟”，让他们越发批判性地思索哪些数据集可以用在基准测试，并将更多的重点放于创立新的、更多样化的数据集上。
由斯坦福年夜学、芝加哥年夜学及Flatiron研究院互助完成的《ATOM3D: Tasks On Molecules in Three Dimensions》
论文地址：https://openreview.net/pdf?id=FkDZLpK1Ml2
作者：Raphael John Lamarre Townshend, Martin Vögele, Patricia Adriana Suriana, Alexander Derry, Alexander Powers, Yianni Laloudakis, Sidhika Balachandar, Bowen Jing, Brandon M. Anderson, Stephan Eismann, Risi Kondor, Russ Altman, Ron O. Dror
获奖理由：
本文先容了一组具备小份子及/或者生物聚合物3D暗示的基准数据集，用在解决广泛的问题，涵盖单份子布局猜测、生物份子之间的彼此作用以和份子功效及设计/工程使命。然后将3D模子简朴而强盛的运用与具备1D或者2D暗示的最新模子举行基准测试，并显示出比低维模子更好的机能。这项研究表述了怎样为给定使命选择及设计模子的主要看法。这不仅提供了基准数据集，还有提供了基线模子及开源东西来使用这些数据集及模子，年夜年夜降低了呆板进修职员进入计较生物学及份子设计范畴的门坎。
庆贺所有获奖者！
参考链接：
https://twitter.com/thegautamkamath/status/1465830407622955012
https://blog.neurips.cc/2021/11/30/announcing-the-neurips-2021-award-recipients/
雷峰网雷峰网(公家号：雷峰网)
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
