圖靈獎得主Geoffrey Hinton：脫韁的無監督學習，將帶來什麼
與6點陣圖靈獎得主和100多位專家
在即將舉行的第二屆北京智源大會上（官網：//2020.baai.ac.cn），圖靈獎獲得者Geoffrey Hinton 無疑是備受矚目的演講嘉賓之一，他的觀點和研究視角，近年來一直對全球人工智慧的研究風向產生重要影響。Hinton 本次演講的主題是《Untethering Unsupervised Learning》，「Untethering」在英文中有「解下拴牛馬的繩或鏈」之意，這也意味著Hinton 將帶來他對於無監督學習的最新突破性思考或者研究進展，相信一定會令大家翹首以盼。
6月24日Geoffrey Hinton 將在智源大會上做主題報告《Untethering Unsupervised Learning》，長按圖片免費註冊參會
Geoffrey Hinton，加拿大電腦學家和心理學家，多倫多大學教授，Google工程Fellow。以其在類神經網路方面的貢獻聞名，被譽為「深度學習之父」。2010年，他獲得了加拿大科學和工程領域的最高獎項——赫茨伯格金獎。2018年因其在深度學習方面的貢獻被授予圖靈獎。
圖1：Geoffrey Hinton（圖片來自網路）
為了幫助大家更好地消化、吸收Hinton這場演講，我們現在對Hinton 近期關於無監督學習的最新動向或進展作一個簡要回顧。眾所周知，Hinton 因率先將反向傳播應用於神經網路學習，成為深度學習有監督學習的主要奠基人之一，而他近年來頻頻發力於無監督學習，這代表他對人工智慧基礎理論、發展趨勢有哪些全新的理解？對此我們也將一窺端倪。
Hinton 團隊最近公布的一項關於無監督學習的研究，是2020年2月推出的一款名為 SimCLR 的視覺表示對比學習簡單框架[1]。所謂對比學習（Contrastive Learning），就是通過潛在空間的對比損失，最大限度地提高相同數據樣本的不同擴充視圖之間的一致性，來進行學習表示。
SimCLR的特點是簡化了無監督對比學習演算法，使其不再依賴於專門的架構和存儲庫。它學習表示的方式，是通過對比損失最大化了同一示例不同增強視圖的隱藏層之間的一致性。
在 ImageNet 上，SimCLR 方法訓練出的線性分類器與有監督的 ResNet-50 性能相匹配，top-1 的準確率達到了 76.5% ，相比於 SOTA，提升了7個百分點。僅對 1% 的標籤進行微調時，SimCLR top-5的 準確率可以達到 85.8% ，並且相比於 AlexNet，標籤數量減少了 100 倍。
取得如此成績的方法，主要包括：多個數據增強的組合；在表示（the representation）和對比（the contrastive）之間引入可學習的非線性變換；更大的批處理規模和更多的訓練步驟；歸一化溫標交叉熵損失等。關於更多SimCLR的具體內容，大家可以參閱Hinton團隊的這篇論文《A Simple Framework for Contrastive Learning of Visual Representations》（下載地址：//dwz.date/be42）。
2020 年 2 月 ，AAAI 2020 會議上 ，Hinton 詳細介紹了他對於「膠囊網路」演算法研究的最新進展——「Stacked Capsule Auto-Encoders」（堆棧式膠囊自編碼器）。Hinton其實對於「膠囊網路」已經磨刀多年了，提出「膠囊」概念是在2011年，隨後默默耕耘、厚積薄發。在2017年、2018年、2019年，Hinton團隊先後發表了3篇「膠囊網路」的論文，但Hinton認為發表在NeurIPS 2019上的「Stacked Capsule Auto-Encoders」，才是令他滿意的版本（下載地址：//suo.im/6a7TRs）。2019年版和前兩年的版本相比其主要特色在於：首先，採用了無監督學習；其次，在預測方式上，之前版本採用的是”部分-整體”路徑，如通過點的位置預測整個星座的位置，而現在是”整體-部分”路徑。
所謂膠囊，類似一組打包好的神經元，用來代表實體相對於觀察者的各種特徵，比如位置、大小、方向、速度、色調、紋理等，特點是通過計算物體的存在概率，並用向量來表徵。
圖2：Stacked Capsule Auto-Encoders 的學習流程
這個無監督版本的膠囊網路[2]，通過可查看所有部件的神經編碼器，進而來推斷物體膠囊的位置與姿勢等屬性。該編碼器通過解碼器進行反向傳播訓練，通過混合式姿勢預測方案來預測已發現部件的姿勢等。同時使用神經編碼器，通過推斷部件及其仿射變換，還可以直接從影像中發現具體的部件。換句話說，每個相應的解碼器影像像素建模，都是仿射變換部分做出的混合預測結果。它們通過未標記的數據習得物體及其部分膠囊，然後再對物體膠囊的存在向量進行聚類。
在AAAI 2020會議演講中，Hinton 指出如果理解了這張兩層自動編碼器的生成模型（即解碼器）圖（如圖3左邊），便理解了新版膠囊網路的精髓，其要點是低層次膠囊的數據，不是直接生成，而是根據高層次膠囊們對它的預測，並形成一個混合預測模型，然後用反向傳播學習高層膠囊的實例化。更多可參考 Hinton在 AAAI 2020演講完整影片（網址：//dwz.date/be4q），中國也有翻譯成中文的文字整理版（網址：//tech.sina.com.cn/roll/2020-02-15/doc-iimxxstf1607527.shtml）
圖3：Hinton 認為理解了這頁PPT，便理解了膠囊網路的原理
根據實驗顯示，這個成果在 SVHN （街景門牌號碼數據集）上獲得了最先進的無監督分類結果 (55%)，同時在 MNIST （手寫數字數據集）上獲得了接近最先進的分類結果(98.5%)。
膠囊網路系統自Hinton 團隊2017年發表第一篇論文起，便被AI學術界寄予厚望，被認為有可能是「下一代深度學習的基石」。同時有一個細節值得注意的是，膠囊網路這個被Hinton 團隊醞釀多年的革命性系統，並未如他在2017年公開所言要「將反向傳播全部拋掉」。反向傳播，從宣稱「拋棄」，到將它與看似格格不入的無監督學習整合於一個膠囊系統中，這代表了HINTON 什麼樣的觀念轉化？我們先從反向傳播說起。
Hinton 的自我革命：從反向傳播到無監督學習的流轉
下面，我們來回顧一下 Hinton 是如何將反向傳播應用於人工智慧的。這一切源點於令他聲名大噪的那篇論文——1986年，他和 David Rumelhart、Ronald Williams 合作發表在Nature 上的《Learning representations by back-propagating errors》。
圖4：Hinton 在Nature上的經典論文
《Learning representations by back-propagating errors》
簡潔地講，反向傳播，是一種通過負回饋來訓練神經網路的方法：將神經網路系統輸出與想要的結果相比較，然後一層一層改變神經元的連接，使得輸出接近想要的結果。相對於人工智慧傳統流派符號主義的結構化表徵，這種將神經網路呈現狀態作為認知過程中的表徵形式，被稱為「分散式表徵」（Distributed Representations），在當時這是一個全新的人工智慧演算法流派——聯結主義。所以當Hinton的這篇論文，首次將反向傳播演算法首次引入到多層神經網路訓練，其意義是奠基性的，尤其是為最近10年人工智慧領域深度學習的風靡全球，奠定了根本性的理論基礎。
而Hinton 本人也在之後的學術生涯中，也水到渠成般取得了一系列標誌性的成就：特別是2006年，他在Science 上發表的《Reducing the Dimensionality of Data with Neural Networks》，不僅採用的預訓練方法緩解了局部最優解問題，而且將神經網路的隱含層推動到了7層——具有了真正意義的「深度」，由此正式揭開了全球深度學習的研究熱潮；2012年，Hinton 和他的學生們在ImageNet 競賽中，將影像識別準確率提升了一倍而一舉奪魁，更是令深度學習開始成為產業界關注的焦點。2018年，因為在深度學習中的一系列奠基性貢獻，Hinton 榮獲ACM 頒發的圖靈獎。
但伴隨著產業應用的深入，以反向傳播為基礎的聯結主義演算法，它內在的弊端日漸成為阻礙人工智慧進一步開疆拓域的瓶頸。如智源學術委員會主席、中科院院士張鈸曾經分析，當今主流的深度學習演算法，無法解決因果推斷的「黑匣子」問題，訓練出來的結果只是一些「重複出現的模式」、「關聯的數據”，直接後果是導致它的安全性非常脆弱等。
Hinton本人也意識到了這種演算法的問題，2017年9月在多倫多的某個AI大會上，公開呼籲將反向傳播「全部拋掉，重頭再來」。他將聯結主義不夠智慧的理由，歸結為反向傳播不太像大腦的工作機制，不是「生物學合理」的演算法。而替代方案，存在於無監督學習之中，Hinton說：「我們確實不需要所有數據都有標籤」。Hinton的這一番觀點當時引起了非常大的反響，李飛飛評論道：「反向傳播非常重要，它就像是飛機上的勞斯萊斯引擎，雖然飛機無法做到像飛鳥一樣機敏而靈活。贊同 Hinton 關於沒有工具是永恆的觀點，甚至反向傳播或者深度學習也不例外。因此，基礎研究的繼續異常重要」。
到了2019年，Hinton在Google I/O 開發者大會上更是旗幟鮮明地表示：「未來的AI系統將主要是無監督的」。
而現在，Hinton最新的無監督版本膠囊網路，依舊保留反向傳播的位置，說明他對這一演算法的認知，有了新的轉變，今年4月 Hinton團隊在Nature Reviews Neuroscience上發表的一篇論文證明了這一點。這篇文章的名字叫《 Backpropagation and the brain 》（下載地址：//suo.im/6a7TRs），文章根據相關實驗認為反向傳播模式在大腦中有存在的可能。
在這篇最新研究中，Hinton 團隊認為，儘管大腦可能不存在完全依照反向傳播的概念運作，但是反向傳播可以為理解大腦皮層如何學習提供新的線索。具體表現在：大腦神經活動中，局部計算出的差異會被編碼為類似反向傳播的誤差訊號，從而促進大腦深層網路中的有效學習。Hinton 團隊將這種基於活動狀態誤差驅動突觸變化的學習機制稱為 NGRAD（Neural Gradient Representation by Activity Differences）。
他們還基於靈長目動物做了一個實驗，結果發現：反向傳播訓練出來的多層模型在匹配靈長類動物的一種視覺神經迴路（用來感知形狀的視覺腹側通路）的運作方式時，往往比其他模型表現更好。
當然，對於大腦皮層是否真存在類反向傳播的學習模式，還是有很多亟待解決的關鍵疑問，比如反向傳播中，傳遞的誤差訊號不影響前向傳播產生的神經元活動狀態，但是在大腦皮層，回饋連接會對前饋傳播產生的神經活動產生影響，它不僅可以調節、激活還可以驅動活動，其複雜性遠大於反向傳播。
對於Hinton的這條探索路徑，智源研究院院長、北京大學資訊科學技術學院教授黃鐵軍認為可能不是一個很準確的方向，他在接收《麻省理工科技評論》採訪時表示[3]，「反向傳播如果發揮作用的話，也主要是在大腦先天結構的形成過程中，而不是在後天學習過程中「。他以視覺系統為例解釋道：「人類視覺系統的神經網路結構在出生時是基本確定的，例如初級視皮層 V1 到 V4 的分區和區間連接關係都是確定的，嬰兒期接受真實的視覺刺激，進行突觸修改，V1 以及大部分視覺皮層的突觸就此固定下來，形成我們的視覺功能，注意，嬰兒期只是突觸修改，並沒有改變 V1 到 V4 的這種基本結構，相比之下，深度學習的起點並不是這樣一個先天形成的有基本結構的神經系統，只是一個多層的神經網路，可以被訓練成視覺網路，也可以被訓練成語言網路，因此，深度學習的訓練過程，實際上是在重複大腦億萬年進化要完成的結構生成任務」。
黃鐵軍建議的方向是：模仿生物大腦已經訓練好的神經網路結構，而不是從零開始尋找結構。
無論路線是否可行，對反向傳播的最新實驗研究，和他近年來轉向的無監督學習一樣，傾注了Hinton 對人工智慧一以貫之的情結：機器可以象大腦一樣思考。比如simCRL中的對比學習，通過樣本總體特徵（無需考慮細節）來識別事物，膠囊網路可以上下左右等不同方位識別同一事物等，這些都是人腦思維的特徵。
早在高中時期（1960年代），Hinton 便深深為人腦的工作方式著迷，隨後去劍橋曾輾轉多個專業攻讀過物理、化學、建築、生理學甚至哲學，均因為產生「抗體」退學，一度還做了段時間的木匠活。直到1972年，Hinton 終於追尋內心的真實召喚在英國愛丁堡大學攻讀人工智慧博士，進行神經網路的探索。Hinton 曾親口講訴過這麼一件趣事：有次他告訴自己的女兒：「我知道大腦怎麼運轉了」，女兒的回復卻是：「爸爸你怎麼又說這個」——因為Hinton 每隔幾年都會跟她說同樣的話。
根據加拿大多倫多大學Hinton主頁的數據[4]，Hinton 的第一篇論文是發表於1976年的《Using relaxation to find a puppet》（下載地址：//suo.im/6pakSe），內容是用鬆弛演算法從一堆互相重疊的長方形中，找出一隻「人偶 (Puppet) 」。
圖5：Hinton 1976年論文《Using relaxation to find a puppet》截圖
這篇論文去年曾被一國外學者在Twitter上拋出來「曝光」，當時網友們紛紛評論：「這不就是膠囊網路嗎？」[5]顯然，它們都在做同一件事情：用AI判斷空間資訊。從鬆弛演算法識別「人偶」，到40多年後用無監督學習生成膠囊、識別影像，Hinton 多年來在AI領域的學術思想，儘管如脫韁了的野馬，縱橫馳騁，但內心深處始終存在、並堅守著一座燈塔。所以對於Hinton即將到來的《Untethering Unsupervised Learning》主題演講，也可以視作是關於AI學術理念的一場「變」與「不變」的心靈追尋，因為他的智慧、真摯和執著，其中閃爍的下一代人工智慧演算法脈絡之光，相信一定會令大家有所受益。
問題徵集：在即將舉行的北京智源大會上，你有什麼問題向Geoffrey Hinton提問？趕快點擊閱讀原文留言告訴我們吧。
[1]//www.thepaper.cn/newsDetail_forward_6019147
[2]//blog.csdn.net/weixin_42182910/article/details/98494397
[3]//mp.weixin.qq.com/s/hm295dLERtcK7rj27hQ1NQ
[4]//www.cs.toronto.edu/~hinton/papers.html#1983-1976
[5]//baijiahao.baidu.com/s?id=1634461796649152771&wfr=spider&for=pc
– 長按圖片，內行盛會，首次免費註冊-
圖1：Geoffrey Hinton（圖片來自網路）
圖3：Hinton 認為理解了這頁PPT，便理解了膠囊網路的原理
圖4：Hinton 在Nature上的經典論文
