图灵奖得主Geoffrey Hinton：脱缰的无监督学习，将带来什么
与6位图灵奖得主和100多位专家
在即将举行的第二届北京智源大会上（官网：//2020.baai.ac.cn），图灵奖获得者Geoffrey Hinton 无疑是备受瞩目的演讲嘉宾之一，他的观点和研究视角，近年来一直对全球人工智能的研究风向产生重要影响。Hinton 本次演讲的主题是《Untethering Unsupervised Learning》，“Untethering”在英文中有“解下拴牛马的绳或链”之意，这也意味着Hinton 将带来他对于无监督学习的最新突破性思考或者研究进展，相信一定会令大家翘首以盼。
6月24日Geoffrey Hinton 将在智源大会上做主题报告《Untethering Unsupervised Learning》，长按图片免费注册参会
Geoffrey Hinton，加拿大计算机学家和心理学家，多伦多大学教授，Google工程Fellow。以其在类神经网络方面的贡献闻名，被誉为“深度学习之父”。2010年，他获得了加拿大科学和工程领域的最高奖项——赫茨伯格金奖。2018年因其在深度学习方面的贡献被授予图灵奖。
图1：Geoffrey Hinton（图片来自网络）
为了帮助大家更好地消化、吸收Hinton这场演讲，我们现在对Hinton 近期关于无监督学习的最新动向或进展作一个简要回顾。众所周知，Hinton 因率先将反向传播应用于神经网络学习，成为深度学习有监督学习的主要奠基人之一，而他近年来频频发力于无监督学习，这代表他对人工智能基础理论、发展趋势有哪些全新的理解？对此我们也将一窥端倪。
Hinton 团队最近公布的一项关于无监督学习的研究，是2020年2月推出的一款名为 SimCLR 的视觉表示对比学习简单框架[1]。所谓对比学习（Contrastive Learning），就是通过潜在空间的对比损失，最大限度地提高相同数据样本的不同扩充视图之间的一致性，来进行学习表示。
SimCLR的特点是简化了无监督对比学习算法，使其不再依赖于专门的架构和存储库。它学习表示的方式，是通过对比损失最大化了同一示例不同增强视图的隐藏层之间的一致性。
在 ImageNet 上，SimCLR 方法训练出的线性分类器与有监督的 ResNet-50 性能相匹配，top-1 的准确率达到了 76.5% ，相比于 SOTA，提升了7个百分点。仅对 1% 的标签进行微调时，SimCLR top-5的 准确率可以达到 85.8% ，并且相比于 AlexNet，标签数量减少了 100 倍。
取得如此成绩的方法，主要包括：多个数据增强的组合；在表示（the representation）和对比（the contrastive）之间引入可学习的非线性变换；更大的批处理规模和更多的训练步骤；归一化温标交叉熵损失等。关于更多SimCLR的具体内容，大家可以参阅Hinton团队的这篇论文《A Simple Framework for Contrastive Learning of Visual Representations》（下载地址：//dwz.date/be42）。
2020 年 2 月 ，AAAI 2020 会议上 ，Hinton 详细介绍了他对于“胶囊网络”算法研究的最新进展——“Stacked Capsule Auto-Encoders”（堆栈式胶囊自编码器）。Hinton其实对于“胶囊网络”已经磨刀多年了，提出“胶囊”概念是在2011年，随后默默耕耘、厚积薄发。在2017年、2018年、2019年，Hinton团队先后发表了3篇“胶囊网络”的论文，但Hinton认为发表在NeurIPS 2019上的“Stacked Capsule Auto-Encoders”，才是令他满意的版本（下载地址：//suo.im/6a7TRs）。2019年版和前两年的版本相比其主要特色在于：首先，采用了无监督学习；其次，在预测方式上，之前版本采用的是”部分-整体”路径，如通过点的位置预测整个星座的位置，而现在是”整体-部分”路径。
所谓胶囊，类似一组打包好的神经元，用来代表实体相对于观察者的各种特征，比如位置、大小、方向、速度、色调、纹理等，特点是通过计算物体的存在概率，并用向量来表征。
图2：Stacked Capsule Auto-Encoders 的学习流程
这个无监督版本的胶囊网络[2]，通过可查看所有部件的神经编码器，进而来推断物体胶囊的位置与姿势等属性。该编码器通过解码器进行反向传播训练，通过混合式姿势预测方案来预测已发现部件的姿势等。同时使用神经编码器，通过推断部件及其仿射变换，还可以直接从图像中发现具体的部件。换句话说，每个相应的解码器图像像素建模，都是仿射变换部分做出的混合预测结果。它们通过未标记的数据习得物体及其部分胶囊，然后再对物体胶囊的存在向量进行聚类。
在AAAI 2020会议演讲中，Hinton 指出如果理解了这张两层自动编码器的生成模型（即解码器）图（如图3左边），便理解了新版胶囊网络的精髓，其要点是低层次胶囊的数据，不是直接生成，而是根据高层次胶囊们对它的预测，并形成一个混合预测模型，然后用反向传播学习高层胶囊的实例化。更多可参考 Hinton在 AAAI 2020演讲完整视频（网址：//dwz.date/be4q），国内也有翻译成中文的文字整理版（网址：//tech.sina.com.cn/roll/2020-02-15/doc-iimxxstf1607527.shtml）
图3：Hinton 认为理解了这页PPT，便理解了胶囊网络的原理
根据实验显示，这个成果在 SVHN （街景门牌号码数据集）上获得了最先进的无监督分类结果 (55%)，同时在 MNIST （手写数字数据集）上获得了接近最先进的分类结果(98.5%)。
胶囊网络系统自Hinton 团队2017年发表第一篇论文起，便被AI学术界寄予厚望，被认为有可能是“下一代深度学习的基石”。同时有一个细节值得注意的是，胶囊网络这个被Hinton 团队酝酿多年的革命性系统，并未如他在2017年公开所言要“将反向传播全部抛掉”。反向传播，从宣称“抛弃”，到将它与看似格格不入的无监督学习整合于一个胶囊系统中，这代表了HINTON 什么样的观念转化？我们先从反向传播说起。
Hinton 的自我革命：从反向传播到无监督学习的流转
下面，我们来回顾一下 Hinton 是如何将反向传播应用于人工智能的。这一切源点于令他声名大噪的那篇论文——1986年，他和 David Rumelhart、Ronald Williams 合作发表在Nature 上的《Learning representations by back-propagating errors》。
图4：Hinton 在Nature上的经典论文
《Learning representations by back-propagating errors》
简洁地讲，反向传播，是一种通过负反馈来训练神经网络的方法：将神经网络系统输出与想要的结果相比较，然后一层一层改变神经元的连接，使得输出接近想要的结果。相对于人工智能传统流派符号主义的结构化表征，这种将神经网络呈现状态作为认知过程中的表征形式，被称为“分布式表征”（Distributed Representations），在当时这是一个全新的人工智能算法流派——联结主义。所以当Hinton的这篇论文，首次将反向传播算法首次引入到多层神经网络训练，其意义是奠基性的，尤其是为最近10年人工智能领域深度学习的风靡全球，奠定了根本性的理论基础。
而Hinton 本人也在之后的学术生涯中，也水到渠成般取得了一系列标志性的成就：特别是2006年，他在Science 上发表的《Reducing the Dimensionality of Data with Neural Networks》，不仅采用的预训练方法缓解了局部最优解问题，而且将神经网络的隐含层推动到了7层——具有了真正意义的“深度”，由此正式揭开了全球深度学习的研究热潮；2012年，Hinton 和他的学生们在ImageNet 竞赛中，将图像识别准确率提升了一倍而一举夺魁，更是令深度学习开始成为产业界关注的焦点。2018年，因为在深度学习中的一系列奠基性贡献，Hinton 荣获ACM 颁发的图灵奖。
但伴随着产业应用的深入，以反向传播为基础的联结主义算法，它内在的弊端日渐成为阻碍人工智能进一步开疆拓域的瓶颈。如智源学术委员会主席、中科院院士张钹曾经分析，当今主流的深度学习算法，无法解决因果推断的“黑匣子”问题，训练出来的结果只是一些“重复出现的模式”、“关联的数据”，直接后果是导致它的安全性非常脆弱等。
Hinton本人也意识到了这种算法的问题，2017年9月在多伦多的某个AI大会上，公开呼吁将反向传播“全部抛掉，重头再来”。他将联结主义不够智能的理由，归结为反向传播不太像大脑的工作机制，不是“生物学合理”的算法。而替代方案，存在于无监督学习之中，Hinton说：“我们确实不需要所有数据都有标签”。Hinton的这一番观点当时引起了非常大的反响，李飞飞评论道：“反向传播非常重要，它就像是飞机上的劳斯莱斯引擎，虽然飞机无法做到像飞鸟一样机敏而灵活。赞同 Hinton 关于没有工具是永恒的观点，甚至反向传播或者深度学习也不例外。因此，基础研究的继续异常重要”。
到了2019年，Hinton在谷歌 I/O 开发者大会上更是旗帜鲜明地表示：“未来的AI系统将主要是无监督的”。
而现在，Hinton最新的无监督版本胶囊网络，依旧保留反向传播的位置，说明他对这一算法的认知，有了新的转变，今年4月 Hinton团队在Nature Reviews Neuroscience上发表的一篇论文证明了这一点。这篇文章的名字叫《 Backpropagation and the brain 》（下载地址：//suo.im/6a7TRs），文章根据相关实验认为反向传播模式在大脑中有存在的可能。
在这篇最新研究中，Hinton 团队认为，尽管大脑可能不存在完全依照反向传播的概念运作，但是反向传播可以为理解大脑皮层如何学习提供新的线索。具体表现在：大脑神经活动中，局部计算出的差异会被编码为类似反向传播的误差信号，从而促进大脑深层网络中的有效学习。Hinton 团队将这种基于活动状态误差驱动突触变化的学习机制称为 NGRAD（Neural Gradient Representation by Activity Differences）。
他们还基于灵长目动物做了一个实验，结果发现：反向传播训练出来的多层模型在匹配灵长类动物的一种视觉神经回路（用来感知形状的视觉腹侧通路）的运作方式时，往往比其他模型表现更好。
当然，对于大脑皮层是否真存在类反向传播的学习模式，还是有很多亟待解决的关键疑问，比如反向传播中，传递的误差信号不影响前向传播产生的神经元活动状态，但是在大脑皮层，反馈连接会对前馈传播产生的神经活动产生影响，它不仅可以调节、激活还可以驱动活动，其复杂性远大于反向传播。
对于Hinton的这条探索路径，智源研究院院长、北京大学信息科学技术学院教授黄铁军认为可能不是一个很准确的方向，他在接收《麻省理工科技评论》采访时表示[3]，“反向传播如果发挥作用的话，也主要是在大脑先天结构的形成过程中，而不是在后天学习过程中“。他以视觉系统为例解释道：“人类视觉系统的神经网络结构在出生时是基本确定的，例如初级视皮层 V1 到 V4 的分区和区间连接关系都是确定的，婴儿期接受真实的视觉刺激，进行突触修改，V1 以及大部分视觉皮层的突触就此固定下来，形成我们的视觉功能，注意，婴儿期只是突触修改，并没有改变 V1 到 V4 的这种基本结构，相比之下，深度学习的起点并不是这样一个先天形成的有基本结构的神经系统，只是一个多层的神经网络，可以被训练成视觉网络，也可以被训练成语言网络，因此，深度学习的训练过程，实际上是在重复大脑亿万年进化要完成的结构生成任务”。
黄铁军建议的方向是：模仿生物大脑已经训练好的神经网络结构，而不是从零开始寻找结构。
无论路线是否可行，对反向传播的最新实验研究，和他近年来转向的无监督学习一样，倾注了Hinton 对人工智能一以贯之的情结：机器可以象大脑一样思考。比如simCRL中的对比学习，通过样本总体特征（无需考虑细节）来识别事物，胶囊网络可以上下左右等不同方位识别同一事物等，这些都是人脑思维的特征。
早在高中时期（1960年代），Hinton 便深深为人脑的工作方式着迷，随后去剑桥曾辗转多个专业攻读过物理、化学、建筑、生理学甚至哲学，均因为产生“抗体”退学，一度还做了段时间的木匠活。直到1972年，Hinton 终于追寻内心的真实召唤在英国爱丁堡大学攻读人工智能博士，进行神经网络的探索。Hinton 曾亲口讲诉过这么一件趣事：有次他告诉自己的女儿：“我知道大脑怎么运转了”，女儿的回复却是：“爸爸你怎么又说这个”——因为Hinton 每隔几年都会跟她说同样的话。
根据加拿大多伦多大学Hinton主页的数据[4]，Hinton 的第一篇论文是发表于1976年的《Using relaxation to find a puppet》（下载地址：//suo.im/6pakSe），内容是用松弛算法从一堆互相重叠的长方形中，找出一只“人偶 (Puppet) ”。
图5：Hinton 1976年论文《Using relaxation to find a puppet》截图
这篇论文去年曾被一国外学者在Twitter上抛出来“曝光”，当时网友们纷纷评论：“这不就是胶囊网络吗？”[5]显然，它们都在做同一件事情：用AI判断空间信息。从松弛算法识别“人偶”，到40多年后用无监督学习生成胶囊、识别图像，Hinton 多年来在AI领域的学术思想，尽管如脱缰了的野马，纵横驰骋，但内心深处始终存在、并坚守着一座灯塔。所以对于Hinton即将到来的《Untethering Unsupervised Learning》主题演讲，也可以视作是关于AI学术理念的一场“变”与“不变”的心灵追寻，因为他的智慧、真挚和执着，其中闪烁的下一代人工智能算法脉络之光，相信一定会令大家有所受益。
问题征集：在即将举行的北京智源大会上，你有什么问题向Geoffrey Hinton提问？赶快点击阅读原文留言告诉我们吧。
[1]//www.thepaper.cn/newsDetail_forward_6019147
[2]//blog.csdn.net/weixin_42182910/article/details/98494397
[3]//mp.weixin.qq.com/s/hm295dLERtcK7rj27hQ1NQ
[4]//www.cs.toronto.edu/~hinton/papers.html#1983-1976
[5]//baijiahao.baidu.com/s?id=1634461796649152771&wfr=spider&for=pc
– 长按图片，内行盛会，首次免费注册-
图1：Geoffrey Hinton（图片来自网络）
图3：Hinton 认为理解了这页PPT，便理解了胶囊网络的原理
图4：Hinton 在Nature上的经典论文
