NeurIPS2019获奖论文出炉微软华人学者LinXiao获经典论文奖

作为最久负盛名的机器学习顶会之一,今年 NeurIPS 2019 在召开之前就消息不断:在今年论文审稿期间,NeurIPS 2019 程序委员会主席专门发布声明称,19 篇论文因一稿多投被拒收,一时造成热议;而在会议近一个月前,多位黑人参会者们申请加拿大签证被拒的消息引起了AI学者们纷纷为其发声并对近年来签证问题的讨论展开了激烈讨论,为本次大会的召开埋下了一丝令人忧心的伏笔。

大众健身往往需要一个组织单位,需要占据大量的公共空间。而如今,健身APP则可以将健身留在私人领域。这正应了汉娜·阿伦特的说法,希腊人在家庭和公共世界之间所做的明确区分:“维持赤裸生命的活动,必须要在其他人的视野之外完成。”健身APP改变了健身房的运动逻辑:人们对基本生物过程的自我控制——写满了痛苦、泪水和高潮的脸庞,不必再暴露于健身房的镜子以及陌生人的非社会性陪伴之中。健身APP让健身成为私密的事情,进一步取消了身体在公共空间的肉体存在——尽管在社交网络上打卡等行为,依然意味着健身将始终是高度景观化的行为。

与此同时,组委会在评选论文时,还应该关注论文是否存在以下几点问题(并避免选择存在这些问题的论文):

雷锋网原创文章,。详情见转载须知。

相比西方,中国的健身房文化来得迟而迅猛。西方的健身房及健身器械已有120年的发展历史,而西方健身器械的大规模商业化则发生在20世纪70年代。19世纪50年代,詹德医生受医疗体操启发研制的运动辅助机械是其雏形。最受欢迎的健身器材之一跑步机(treadmill)历时更长。在成为时髦的健身器材之前,跑步机曾是一种残酷刑具,在英国各地的监狱之中长期广泛使用。在19世纪末,《纽约时报》记者对健身房的描写依然显得陌生而异化:“每一件设备占据一间装置精良的大房间,这些房间里机器依次排开,外行人一看还以为是精心设计的刑房,而非医生的办公室或健身房……”而如今,健身房作为一种自我强制、自我上瘾的运动方式,已成为都市中产生活的标志。对于中国人而言,健身房的健身行为作为一种透过计量达成的现代健身方式,并未沾染上世纪布满位置机械的刑房印象,而更接近于一家让你自愿前往的医院,在这里,“身体就是代表能力的数字的集合”。

健美操与今天“健身热”的相似逻辑在于,变美取代了健康,成为了健身的主要目的,女性则为塑造自己身体的曲线美而选择运动。然而对于中国人来说,健身房的真正普及与健身热的到来,是伴随着城市化的进程不断深入而真正展开的,也伴随着身体的数据化和塑身的科学化而迅速升级。

与之前一样,NeurIPS的委员会从10年前发表在NeurIPS上的论文中选择一篇对社区产生“重大且持久影响”的论文作为“经典论文奖”(Test of Time Award)。

中国人民银行表示,提高澳门居民有关汇款限额,有利于满足澳门居民人民币结算需求,便利澳门与内地经贸和人员往来。中国人民银行将继续支持澳门经济、贸易、投资以及人民币业务的发展。

另一方面,无论是论文投稿期间一度导致 NeurIPS 服务器宕机,还是今年大会“别出心裁”地采取抽彩票的方式决定谁能获得参会门票,都暗示着今年大会的盛况不减甚至会更超出往年。

4、杰出新方向论文荣誉提名奖

作为本年度的“经典论文奖”。这篇文章发表于2010年,作者是来自微软的首席研究员 Lin Xiao,Google Scholar 统计的引用次数为 645。这篇文章提出了一种全新在线算法:正则化双重平均算法(RDA)。实验证明,RDA 对于ℓ1 正则化的稀疏在线学习非常有效。

当代中国健身画卷中,最具公共性的一隅,恐怕是广场舞大妈和公园养生大爷的日常锻炼。这些上一代人的健身方式,有时会与扰民、集体划一的负面形象联系在一起,却又尖锐地透露出城市健身所面临的困境:城市对健康意味着什么?谁为我们的老年负责?该如何对待自己的身体?

综上这些因素,几位委员会成员在今年选出了

具体来说,这篇文章做出了三点贡献:1)每个像素的神经渲染器,可以以3D感知的方式实现无分辨率的场景渲染;2)可微分的光线行进算法( ray-marching algorithm ),解决了沿着相机投射的光线寻找表面相交的难题;3)潜在场景表示(latent scene representation),使用自动编码器和超网络来回归场景表示网络的参数。

如今,健身房和跑步机开始成为中国人现代都市生活的标配。而这个时代平民化健身的选项,除了公共空间的广场舞和太极拳,还多了可以在家使用的健身APP。2018年,中国的健身跑步类APP用户人数已突破2.5亿。利用智能手机,健身APP降低了健身的门槛和成本,新手可随时享受免费或付费的健身指导。

上世纪六七十年代普及的运动都是廉价项目,少有场地的制约,成本低,易于铺展开来。这些项目富有时代感,有不少是随着竞技体育在国际上获得成绩而繁荣发展起来的。20世纪60年代,乒乓球、游泳健身规模浩大;70年代,长跑成了群众健身的新潮流;步入80年代,群众健身开始讲究科学,小型健身器材不断涌现,运动前热身、运动后的营养等相关知识得到普及。而中国健身与世界同步的时刻,直到20世纪90年代才到来。

运营商、铁塔公司的倾力投入,不断调整建设计划,全力投入深圳5G基站建设。各5G产业相关企业的鼎力相助,刚刚揭牌的由市特区建发集团专门成立的信息基础设施投资发展公司将统筹全市多功能智能杆等信息基础设施资源的运营维护。由市信息通信研究院牵头、5G产业相关科研院所行业组织共同发起的5G创新联盟将引领5G技术标准及行业示范。

身体从来不只是自己的,也是高度社会化的产物。但大众体育总是自上而下、以国家为尺度展开的身体管理吗?健身产业的强势意味着大众体育的衰落吗?让健身回到私人空间的健身APP,会带来真正的改变吗?

随着第15000个5G基站的顺利开通,深圳提出的1.5万个5G基站的建设任务提前完成,创造了一个新的“深圳速度”。

这篇论文展示了一些基本负面的结果,表明对深度学习算法表现的许多现有的(基于范数的)泛化边界描述方法并不能达到声称的效果。论文中认为,当这些泛化边界描述方法继续依赖双面的一致收敛性的时候,就无法达到宣称的效果。虽然这篇论文并没能解决(也没打算解决)深度神经网络中的泛化性问题,它的效果是为整个领域指出这个问题需要尝试别的方法。

雷锋网年度评选——寻找19大行业的最佳AI落地实践

健身APP:平民化健身?

健身房时代,中国人的运动

据统计,2018年中国健身俱乐部的总数已达5861家,这意味着每百万中国人即对应4.2个健身俱乐部。在近两年的城市服务业平均薪资榜上,健身教练一直位居前三甚至第一。健身教练已成为真正的高薪职业。这也意味着更多经济能力不足的人被阻隔在健身房的准入门槛之外。

审稿人们认为论文中提出的方法非常重要,需要使用最小均方解算器的研究人员们可以轻松地实现这个方法,以对现有的算法带来明显改进;这个方法也可以为其它的算法起到借鉴作用,实践-科研的递归循环,天然地就拥有良好的泛化能力。

Lin Xiao 曾就读于北京航空航天大学和斯坦福大学,2006年就职于华盛顿州雷德蒙德的微软研究院,目前担任微软的高级首席研究员,研究兴趣包括用于大规模优化的理论和算法、用于机器学习的随机和在线算法以及并行和分布式计算。

虽然正会还未正式开始,但 NeurIPS 官方在几个小时前已早早地公布了今年备受瞩目的「杰出论文奖」(Outstanding Paper Award)、「经典论文奖」(Test of Time Award)以及今年增设的「杰出新方向论文奖」(Outstanding New Directions Paper Award)的奖项结果。从获奖论文清单中,我们可以看出,除了经典论文奖是由来自微软研究院的 Lin Xiao获得外,其他奖项中都没有出现华人身影。

这篇论文通过严谨的理论方式表明,GANs在密度估计任务中可以比线性方法有更好的表现(以收敛速度来评价)。利用了此前小波收缩方面的成果,这篇论文让我们对GANs的表征能力有了新的认识。具体来说,作者们在一大类函数(Besov空间的)的一大类损失下(我们称作“积分可能性指标”),为非参数化的密度估计推导了最大最小收敛速度。审稿人们觉得这篇论文会对研究非参数化估计以及研究GANs的研究人员们有很大的影响。

具备持久影响的潜力——论文聚焦于某个主流而非边缘化的研究领域,人们在未来的几十年时间里依旧会关注它。 有观点——提供了新的(并且希望是深的)见解,而不仅仅是在性能上提高几个百分点。 创造性/让人出乎意料/令人惊奇——以创造性的新视角去看待问题,并且得出了真正让读者惊喜的结果。 变革性——将从根本上改变未来人类思考问题的方式。 严谨性——无懈可击的细致和严谨。 优雅——论文漂亮、工整、流畅并经过很好地润色。 现实性——不过分强调重要性。 科学性——能够证伪。 可重复性——结果能够真正可重复、代码可用并且能够在多种机器上运行、数据可用以及能够提供详细的证实。

最终组委会成员彼此达成一致意见,并经过简短的讨论后决定获奖名单。以下是各个最佳论文奖项的简要介绍——

在上世纪90年代以来的市场化时代,不够个性化的大众体育开始失色。“储蓄金钱不如储蓄健康”观念流行之下,中国人接触到了五花八门的健身方式。不过,早年健身市场上只有器械训练和健美操为主的跳操房,参与健身的人也往往被视为有钱人。

今年9月,深圳市政府印发了《深圳市关于率先实现5G基础设施全覆盖及促进5G产业高质量发展的若干措施》,成立了深圳市5G产业发展工作协调小组,召开了5G建设动员大会,市工业和信息化局与三大运营商签署了《5G基站建设合作备忘录》,举全市之力,共同推动深圳市5G大建设、大发展、大应用,推动深圳走在5G时代的最前列。

最小均方解算器(Least Mean-Square solver)是许多机器学习算法的核心组件,从线性回归、Lasso回归到奇点值分解和Elastic网络,都会用到最小均方解算器。这篇文章展示了如何把最小均方解算器的计算复杂度降低一到两个数量级,而且既没有精度损失、还能提升数学稳定性。他们的方法依赖于Caratheodory理论,提出一组核心的点集(对于d维空间,需要d^2+1个点)就足以刻画凸壳中的所有n个点。论文的创新性在于,他们提出了一个“分割并解决”(divide-and-conquer)算法,能用可接受的计算复杂度提取出这组核心点集(计算复杂度O(nd + d5 log n),前提是d<<n)。

大众体育的身体管理并不将身体作为唯一的对象,相比如今健身房里的中产身体展演,大众体育的区隔性更弱,娱乐性更强,更强调运动中社会关系的互动和融合。作为爱好或集体项目的体育运动,既不完全是为了赢,也不完全是为了强身健体,而是某种身体艺术,一种技艺,或是一种游戏。参与大众体育的个体,经历的是融入动态结构的过程,这与人类社会的发展结构相类似。

2、杰出新方向论文奖

与此同时,今年最佳论文组委会还专门增加了「杰出新方向论文奖」(Outstanding New Directions Paper Award)奖项,以此表彰在「针对未来研究开设出了创新路径」方面表现出色的研究者。

遵循上述原则,组委会提交了一份包含三篇论文的短名单以及另一份包含8篇论文的备选名单,之后再由组委会成员独自对备选名单中的8篇论文进行评估并给出排名结果,接着互相交流这些结果。同时针对每篇论文,组委会成员还会额外寻求专家的意见(并在决策中将这些意见考虑进去)。

伴随外国风潮的流入和电视的普及,同样是廉价健身的健美操开始流行,这标志着中国健身潮的新开端。美国影星简·方达(Jane Fonda)的健美操引入中国后引起轰动,本土的“马华健美操”也一度风靡,在家跟着录像带跳健美操成为了很多人的日常健身。

按照惯例,今年NeurIPS 2019最佳论文组委会从会议接收的Oral 论文中挑选出了最值得关注的论文并授予杰出论文奖项。据官方介绍,今年的论文奖项评选规则如下:

MIT用神经网络重现生物视觉系统,发《自然:神经科学》后再中NeurIPS Oral

不同于健身房里的“健身”概念(往往涉及器材使用、塑造肌肉的有计划训练),廉价健身总是与广泛意义上的体育运动联系在一起,是一般人为增强体质而从事的体育锻炼或是公共性运动。

“经典论文奖”的委员会成员包括Amir Globerson, Antoine Bordes, Francis Bach 和 Iain Murray。检验奖的选取过程是,首先选出 18 篇自发表以来引用次数最多的文章,然后再去看哪些文章即使在现在仍然具有影响力(即在现在的工作中仍然具有指导、参考和借鉴的意义),当然委员会还会考虑论文是否被如今大多数社区所使用。

市、区各部门的戮力同心,市工业和信息化局主动出击,创新“市、区、街道”三级联动机制,解决7个批次4283个站点入场问题,收集4049个公共场所物业资源免费开放,破解基站“入场难”的核心难题;各区通力配合,以宝安区为代表多措并举全力推进,超额完成任务。

自昨日开始,12月8日至14日为期7 日的NeurIPS 2019 便已如火如荼地在加拿大温哥华举行。据大会官方统计,今年参会总人数超过 13000 人,与去年不到 9000 人的参会人数相比,翻了半番。温哥华在今年这个冒着冷气的冬季里,一时迎来如此庞大的参会人群,温度估计都“升了好几度”。

加拿大拒发签证,AI学者们纷纷为NeurIPS2019的黑人参会者们发声

低效——需要以消耗大量资源为前提才能够脱颖而出的工作(主要依赖于消耗大量资源在排行榜上获得了更高的排名) 时髦——采用某个方法是因为此方法比较热门,但其实还可以采用其他更加高效的方法。 过于复杂——论文中加入了本不需要的复杂性。

尽管公共空间在城市建设扩张中面临萎缩,但在面向大众、具有集体性的廉价体育之外,面向个体的健身房作为一种有效的补充,也被视为国家体育健身产业的重要部分。1995年《全民健身计划纲要》的颁布,2008年北京奥运会之后“全民健身日”的确立,以及2016年“全民健身”作为国家战略的确定,对于政府而言,无论健身房运动还是廉价体育运动,对于提高国民综合素质和综合国力都有积极作用。廉价体育和健身房都成为今天生命政治的管理方式。

新中国有一套完整的大众体育方针,其初衷与全民健身和国防体育的目标相关,强调了体育为生产、为国防服务。20世纪50年代,广播体操风行天下,依靠行政手段推广开来,是中国过去几十年中参加人数最多的群众健身活动之一。不同于健身房的锻炼逻辑,在这种健身运动之中,个人的身体发展和美感诉求不受重视。

仪式上,各位领导嘉宾共同见证了深圳市第15000个5G基站成功开通,贾兴东局长宣布2019年深圳市5G基站建设任务圆满完成。

廉价体育:真正的大众健身?

3、杰出论文荣誉提名奖

以上这些因素,或许值得每一位想要拿得国际顶会最佳论文奖的研究者/机构,去思考和借鉴。

论文中的一个简单的例子说明了方法的效果。在此之前,只有1% Massart噪声就会让弱学习无效(达到49%的错误率)。论文中展示了如何高效地让错误水平上限仅仅等于Massart噪声水平+ε (算法的运行时间为(1/ε)的多项式,正如预期)。算法的实现方法很精密,达到这样的结果也有一定的技术挑战。最终的结果是,能够高效地在(1/ε)的多项式运行时间内让错误水平上限为Massart噪声水平+ε 。

在会议手册中,提到下一届NeurIPS 将仍然在加拿大温哥华举办,而随后(NeurIPS 2021)则会到悉尼(澳大利亚)举办。

这篇论文重新研究了神经网络的逐层构建问题,他们使用了从van Oord et al. (2018)得到启发的自监督条件,尤其是当前输入和空间或时间上临近的输入的表征之间的共同信息。审稿人们注意到,这种感知网络中的自组织现象能够为算法角度和认识角度的交叉部分提供思考的素材(算法角度,端到端优化有巨大的存储空间开销和计算能力问题,有没有方法绕过;认知角度,能否更多地利用“慢特征”的想法,向着“模仿生物大脑”的学习过程前进)。

这篇论文研究了在训练数据中有未知的、有界的标签噪声的情况下,如何为二分类问题学习线性阈值函数。论文中推导了一个在这种情境下非常高效的学习算法,解决了一个基础的、长期存在的开放性问题:在有Massart噪声的情况下高效地学习半空间;这也是机器学习的核心问题之一,这篇论文带来了巨大的进步。

下一步,深圳市将继续坚持高强度投入、高标准建设、高密度覆盖,动员一切可以动员的力量,加快5G基础设施建设,力争建成全球领先的高质量、全覆盖5G通信网络,大力推动5G应用示范,打造世界级5G产业集聚区。

NeurIPS 2019 马上要开了,如何为现场参会做准备?

如今,健身这件事透露出现代人的生活已经全面内卷,原子化是正当且舒适的存在状态,亦符合社会期许,这种无限向内的倾向强调自我和他者的分离,包括把自己的身体也处理为他者。无论如何,健身的风靡宣告着我们正告别大众体育时代的运动风格,而无论是悲是喜,身体在当代消费社会之中再难以摆脱景观化的存在方式。

创立于2017年的「AI最佳掘金案例年度榜单」,是业内首个人工智能商业案例评选活动。雷锋网从商用维度出发,寻找人工智能在各个行业的最佳落地实践。