要不要先驗？怎麼看混合模型？Marcus和Bengio激辯AI未來
- 2019 年 12 月 27 日
- 筆記
機器之心報道
參與：一鳴、張倩、蛋醬
Gary Marcus 對於當今人工智慧研究的批判終於讓深度學習先驅們坐不住了。聖誕節前夕，Marcus 與圖靈獎獲得者 Yoshua Bengio 進行了一次有關 AI 技術發展方向的現場辯論。
兩個人想要討論的焦點是：「符號處理和因果關係與目前 AI 發展方向之間的關係。」
最近在「風口浪尖上」的 Gary Marcus 是一名成功的科學家、暢銷書作家、企業家，以及 Geometric Intelligence (被優步收購的機器學習初創公司) 的首席執行官和創始人。作為一名作家，他經常為《紐約客》和《紐約時報》撰稿，並且是四本書的作者。作為紐約大學心理學和神經科學教授，他在人類和動物行為、神經科學、遺傳學和人工智慧等領域發表了大量文章，並經常刊登在 Science 和 Nature 等期刊上。
而在另一邊，Yoshua Bengio 則是最近一次電腦科學最高獎項圖靈獎的獲得者，以及 2020 年的 AAAI 當選 fellow。他目前任蒙特利爾大學教授、魁北克人工智慧機構 Mila 的科學主管。Bengio 和 Geoffrey Hinton、Yann LeCun 一直被認為是深度學習先驅。正是他們在三十年以前發展了深度學習概念基礎，從而引領了最近一次 AI 技術的爆發。12 月 21 日，Bengio 和 LeCun 又雙雙入選 2020 AAAI Fellow，這是對他們長期以來堅持深度學習研究和應用的一種肯定。
總體觀察來看，兩方爭論的焦點在於符號處理（symbol manipulation）和因果關係與目前 AI 發展方向的聯繫。Gary Marcus 認為，符號處理對於因果關係至關重要。在人類等高級生物中，人們發現了很多分工不同的大腦區域。期望複製完整的體系結構是非常不現實的。
Yoshua Bengio 等人認為，我們可以在保持深度學習框架的同時加入因果推理，新的人工智慧系統或許可以利用注意力機制，或者通過新的模組和訓練框架來實現（例如元學習和基於智慧體的方式）。
將因果關係引入深度學習會對通用人工智慧帶來切實和持久的貢獻，但是利用單一架構來獲取所有的認知是否現實？
Bengio 和 Marcus 都認為，雙方共識和分歧的表達或許會為人工智慧領域帶來益處。
辯論首先由雙方介紹各自的觀點，然後開始根據提出的問題進行自由辯論，最後還有回答現場和網上提問的環節。
Gary Marcus：我沒說深度學習沒用，但是需要結合符號構建混合系統
由於長期以來對深度學習的批判，Gary Marcus 一直飽受爭議。在論點陳述階段，為了讓大家更好地了解自己的真實立場，Marcus 首先回顧了自己近二十多年對於深度學習的觀點和態度。這些觀點包括：
- 承認混合模型（符號處理和模式識別都包含在內）的價值；
- 認識到外推（extrapolation）的重要性及純深度學習系統的弱點；
- 認識到組合性（compositionality）的重要性；
- 認識到捕獲和表徵關係的重要性；
- 認識到因果的重要性；
- 認識到記憶的重要性。
接下來，Gary Marcus 澄清了 Bengio 及其他人關於自己一些觀點的誤讀，如「深度學習無用論」。
我從未說過「深度學習無用」
Gary Marcus 澄清的「深度學習無用論」主要是指最近 Bengio 在接受 IEEE 採訪時所提到的內容。Bengio 在採訪中曾經說道，「一些人（如 Gary Marcus）表示「看啊，深度學習沒用。」但事實上，像我這樣的研究者正在做的是擴展深度學習的邊界。」
Gary Marcus 在辯論中澄清，「我從未說過深度學習無用，只是說深度學習不是唯一的選擇」。
他還表示，自己與 Bengio 的觀點分歧其實主要集中在後者早期的（如 2014-2015）的一些觀點，比如：1）過度信任黑箱深度網路；2）過度依賴大型數據集；3）過度看中淺層的深度學習系統，對其他方法缺乏興趣。
其實，隨著深度學習缺點的逐漸暴露，Bengio 也已經意識到，單純依賴深度學習不可能解決所有問題。
Bengio 在今年的 NeurIPS 大會上做了題為《FROM SYSTEM 1 DEEP LEARNING TO SYSTEM 2 DEEP LEARNING》的報告，指出人的認知系統包含兩個子系統，一個是直覺系統（System1），主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情；另一個是邏輯分析系統（System2），是有意識的、帶邏輯、規劃、推理以及可以語言表達的系統，這是未來深度學習需要著重考慮的。
所以，現在雙方爭論的焦點其實已經不是深度學習有沒有用，而是往裡面添加什麼東西來構建一個更智慧的混合系統。
深度學習需要加入符號處理
在構建混合系統方面，Gary Marcus 認為，深度學習應該結合符號處理。
符號主義和聯結主義的爭論由來已久。在深度學習的潛力被挖掘之前，符號主義一直佔上風。但隨著深度學習的火熱，人們對聯結主義的追捧似乎也已經過了頭。Gary Marcus 認為，深度學習火了那麼久，缺陷也暴露無遺，是時候把符號處理加進來了。
但讓 Marcus 疑惑的是，Bengio 似乎對符號主義的東西不太感興趣。他甚至在給學生的一封信中寫道：「你提出的是神經符號混合系統，這個系統行不通，幾代研究者都做過嘗試，而且都失敗了。」
對於這種悲觀的態度，Marcus 反駁道，「如果要反對符號處理，那你就需要證明你的系統沒有用到符號」。在他看來，Bengio 並沒有做到這一點。
Marcus 還反駁了 Bengio「人類大腦就是一個神經網路」的觀點（下文中會提到）。他認為，現在的人工神經網路過於簡單，如每個神經元只有一個自由度，而且同質化嚴重。
Gary Marcus 認為，「人類大腦就是一個神經網路」這一觀點淡化了一個假設，即大腦有可能在演算法層面是符號的，在實現層面是神經的。對於「符號在生物層面是不可行的」，Marcus 認為這種觀點非常荒謬。他表示，這個問題的焦點不應該在於大腦有沒有用到符號，而是在多大程度上利用了符號。
對於這個假設，Gary Marcus 表示，退一步說，即使大腦本質上是一個神經系統，AI 也不應該將符號排除在外。首先，目前還沒有正式的證據表明符號無用；其次，符號已經在一些領域發揮了作用，比如Google的搜索引擎。Google使用的是深度學習+知識圖譜的方式進行搜索，而且已經證明比單獨使用二者的任何一個效果都要好。
Yoshua Bengio：我比較關心怎麼做出 System 2
Bengio 在觀點陳述階段並未花費很多時間正面評價符號主義或 Marcus 的論點，而是具體介紹了深度學習發展中遇到的問題，以及他所認為的一些解決方法。
具體來說，Bengio 更關心的是如何升級深度學習，即 System 2 需要添加哪些東西。
System 2 需要重點關注 OOD，關鍵是注意力和意識
Bengio 認為：
- 傳統的機器學習都是基於 IID（獨立同分布），但 OOD（out of distribution）才是下一步的重要挑戰；
- 注意力機制和意識先驗都是 System 2 的關鍵要素。
Bengio 在 NeurIPS 的報告中也表達了類似的觀點，唐傑老師對報告進行了解讀。
Bengio 在報告中指出，現實世界中我們感興趣的數據往往不是 IID 的，而是 OOD（即出現次數非常少），所以我們在處理時應該更加關注 OOD，也就需要在機器學習演算法中建立新的數據假設。我們需要考慮哪些因素會影響數據分布的變化，以及不同分布的可組合性等方法如何對現在的 IID 和 OOD 進行泛化。而元學習則是可能實現機器學習到 OOD 和模型快速遷移的一個辦法。
而對於構建 System 2 來說，基本的要素包括：注意力和意識。
注意力（Attention）實際在目前的深度學習模型中已經有大量的實現和探討，比如 GAT（圖注意力機制）等；
意識最關鍵的是定義到怎樣的邊界。Bengio 提到意識先驗可以使用稀疏因子圖模型來實現。稀疏因子圖可以用來學習變數之間的因果關係，從而構造變數之間的因果關係。
基於規則的傳統符號處理有很多問題
對於 Gary Marcus 提到的在下一代深度學習系統中加入符號主義，Bengio 表示，傳統的基於規則的符號處理 AI 存在很多問題，包括：
- 需要高效、協調的大規模學習；
- 和 System 1 一樣需要語義落地（semantic grounding），還需要感知動作循環（perception-action loop）；
- 需要用於泛化的分散式表徵；
- 像 System 1 一樣需要高效搜索；
- 需要處理不確定性
同時，Bengio 指出，他們要創建的下一代深度學習系統絕不是簡單地將好的老式人工智慧（Good Old-Fashioned Artificial Intelligence）與深度網路相結合。原因在於：
- System2 和 System1 一樣需要學習；
- 高度抽象的概念需要「落地」，通過概率分布表示來實現泛化性；
- 系統需要表示出不確定性；
- 暴力搜索演算法並不能擴展，而人類似乎是使用潛意識（System 1）處理並引導搜索，包括推理。因此 System1 和 System2 應當是緊密結合的；
- 我們的大腦都是神經網路；
這些論點無疑反駁了 Marcus 對於在人工智慧系統中引入符號計算的觀點。之後，雙方根據現場觀眾和在線留言提出的問題進行了解答。包括如何在深度神經網路中引入先驗，應當引入什麼樣的先驗知識。所謂的「人工智慧的潛意識」指的是什麼。最終，辯論以友好但誰也沒說服誰的的方式結束。
輿論評價
對於這次辯論，輿論普遍認為：雙方普遍軟化了彼此的立場，從而淡化了爭論中的火藥味。然而，關於未來人工智慧發展的路線和理論趨勢，誰也沒有說服誰，更遑論得出一個令人信服的結果了。
Reddit 網友：立場軟化、難以信服
Reddit 上的網友對本次辯論的評價說：
「雙方並沒有真正在辯論，甚至沒有衝突。他們都沒有站在一個堅定的立場上。在談到細節上時，雙方都以一個安全的立場結束，去同意對方的一些觀點。」
另一位「Bengio」評論說：
「本次辯論沒有贏家，因為雙方都有令人信服的論點。一方面，Bengio 對於人類大腦從生物學處理的雜訊頂端意識到符號推理的觀點是正確的。而另一方面，Marcus 認為在可學習的智慧體中部署硬編碼的符號演算法可以提升泛化性和樣本複雜度。這是到達人類級別人工智慧的正確路徑。
時間會給我們答案。」
ZDNet：對術語有分歧，似乎在各說各話
科技媒體 ZDNet 也對本次辯論進行了報道，ZDNet 認為雙方在術語上有一些理解的分歧。各方從自己的表述中出發提出論點，而某些表述在對方看來有著不同的理解。
以符號為例，Marcus 在辯論中認為，AlphaZero 等類似的 AI 使用的就是符號系統。因為其採用的是蒙特卡洛樹搜索，「對於樹的追蹤和搜索難道不是符號嗎？」而 Bengio 則認為這不是符號，「符號必須能夠區分概念。」
同樣在先驗問題上出現了用詞的分歧問題。Marcus 批判了 Bengio 想要讓神經網路拋棄先驗的想法，而 Bengio 則辯護說，自己只是想讓先驗更少一點，最好是元先驗（meta-prior），對此 Marcus 認為這和自己希望給 AI 加入先驗沒什麼不同，只是多少的區別。
當然，Marcus 也改變了一些觀點。例如，他談到說不能將神經網路和人腦的神經系統類比，因為大腦神經元之間有很多可以被塑造的「軟連接」。Bengio 很快駁斥說，神經網路中的門「Gate」控制就是這樣一種軟性的連接。Marcus 隨即表示同意，終結了這個問題的討論。
ZDNet 文章總結說，本次辯論的雙方都是從各自的立場出發，介紹了自己的一些想法。Marcus 談到的是人工智慧應當是什麼樣子的，並以人類的認知方式為例，認為人工智慧應當效仿人類的認知方式達到真正的智慧。而 Bengio 則更多從實際出發，介紹現有的實驗和工作，講明以我們現在的技術，如何才能讓當前的 AI 系統克服缺點。
總而言之，本次辯論無疑對符號主義和聯結主義之間的爭論進行了一次系統性的梳理和總結，更像是一次意見的交換。儘管大佬們的爭論並沒有達成最終的共識，但是我們可以了解到：人工智慧並非只有深度學習一家，對於達成類人人工智慧的路徑也可能極為不同。深度學習並非最終道路，而先驅們已然孜孜探索。
以下是完整版影片：
辯論從1小時40分鐘左右開始，請拖行進度條觀看。
官方影片鏈接：https://www.facebook.com/MontrealAI/videos/498403850881660/
參考鏈接：
https://www.jiqizhixin.com/articles/2019-12-16-4?from=synced&keyword=ood
https://www.zdnet.com/article/devils-in-the-details-in-bengio-marcus-ai-debate/
