首日總結：Bengio、楊強、唐劍探討如何構建AI學術研究和產業落地的橋樑
該活動由圖靈獎得主Yoshua Bengio教授與微眾銀行首席人工智能官楊強教授、滴滴智能控制首席科學家唐劍博士領銜，由微眾銀行(WeBank)、滴滴出行(Didi Chuxing)和加拿大蒙特利爾學習算法研究所(Mila)共同主辦，AI研習社協辦，AI科技評論作為獨家合作媒體共同舉辦。
以下，AI科技評論整理了Yoshua Bengio、楊強和唐劍的演講的主要觀點，以及問答內容。
由於時間限制，嘉賓在演講過程中僅回答了部分問題，AI研習社還特別對觀眾的問題進行了收集，並請嘉賓在之後進行錄播回答。本次論壇將整理有回放，感興趣的觀眾可以關注文末「閱讀原文」頁面，觀眾提問整理在文末展示。
Yoshua Bengio
在本次論壇中，Yoshua Bengio的演講主題是《深度學習：從系統1到系統2》。
Yoshua Bengio提到，人的認知系統包含兩個子系統：系統1和系統2。系統1是直覺系統，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情；系統2是邏輯分析系統，是有意識的、帶邏輯、規劃、推理以及可以語言表達的系統，這是未來深度學習需要着重考慮的。
對於系統2來說，基本的要素包括注意力和意識，意識先驗可以使用稀疏因子圖模型來實現，這是一個思路，實現了因果關係。從人的角度來看意識，語言是高層次的表示，這需要把人的兩個認知系統即系統1和系統2有機的結合起來，也就是說把低層次的表示和高層次的決策結合起來，從而實現系統進化。
對於如何用深度學習來實現系統2，Yoshua Bengio指出，最關鍵就是處理數據分佈中的變化。對於處理數據分佈，傳統機器學習都是基於獨立同分佈的假設，但實際需要關注更多的是分佈外泛化。尤其是從強化學習的角度來考慮，需要考慮哪些是影響數據分佈變化的因素。
1、深度學習是基於統計的學習，其預測結果中總會有一些錯誤，而基於符號邏輯的AI必須在邏輯上保持一致並且沒有錯誤。那麼將這兩個系統結合起來時，如何使這兩個系統中的矛盾得到解決？
我選擇的途徑不是重用經典符號系統方法，因為太脆弱了，甚至比現在的AI系統還要脆弱。這是因為經典符號系統要求一切都必須是完美的，它們不能很好地處理錯誤。
現代機器學習實際上是基於概率觀點的。因此，錯誤不是問題。與此相關的另一個聯繫，是使用深度學習處理推理的現代方法。
例如，如果不想做出硬性決策，而要做出軟性決策，則可以依靠規劃。軟概率決策的優點是，我們可以對不同的元素施加不同的權重，其中一個可能會獲得90％的成功率。但是我們仍然會收到學習信號，這使學習變得非常高效。
我不是競爭的忠實擁護者，我認為協作的效率更高。如果共享知識，知識將以更快的速度增長，那就是我們在科學中的做法。
楊強
在本次論壇中，楊強教授的演講主題是《結合聯邦學習與遷移學習》。
在演講中，楊強教授介紹到他們正在把聯邦學習和遷移學習結合起來。
聯邦學習在應用中往往存在一個現象，即每一個數據擁有方所持有的數據，也許和別人的分佈是不一樣的，也許和別人的表達也是不一樣的。比方說一個攝像頭中可能看到更多的是男性，另一個攝像頭看到的更多的是女性，這樣的分佈是不一樣的。在這種狀況下建模，對機器學習來說是有困難的，因為機器學習要求數據遵從統一分佈，並且表達也是類似的，而不能一部分數據是圖像，而另一部分數據是文字。這種異構的數據在現實中經常發生，所以有必要來做聯邦學習和遷移學習的結合。
這種結合可以體現在各個層面，以深度學習為例，左邊的圖展示的是兩個神經網絡，藍色的神經網絡有很多數據標籤，所以可以建一個很好的神經網絡模型，但是紅色的神經網絡卻缺乏這樣的數據，我們考慮將藍色神經網絡的數據遷移到紅色的神經網絡中。過去，遷移學習是不考慮隱私的，模型和數據都可以被物理運到紅色神經網絡進行知識遷移。現在有了隱私顧慮，是不是可以用聯邦學習達到遷移學習的效果？答案是可以。
在兩邊溝通的過程中，除了隱私加密以外，還要進行一項遷移學習的運算，保證兩邊數據的分佈和兩邊數據的表達都是相同的。要達到這一點，雙方首先要把各自方的模型和數據遷移到一個共同的子空間，這個遷移過程可以通過某種數學運算進行，比如和函數，效果相當於我們把神經網絡的某些層遷移到了新的場景下。
這個工作中需要經過多番遷移和對比，所以效率很低。最近他們又提出了一個加速算法，使得每一方本地的數據計算盡量多，跨合作方的計算盡量少，以聯邦塊的方式進行梯度交互，結果證明效果非常好。另外隨機森林也可以採用這個方法實現遷移學習和聯邦學習的結合。
為實現良好模型，進行聯邦訓練需要的參數量有多大？當前的基礎設施是否足夠？
這是一個很好的問題，因為效率是一個重大挑戰。因此，在建立聯邦學習兩方之間的關係時，需要傳遞梯度信息以及損失信息，儘管採用的是加密形式。
因此，我們會面臨挑戰。一個是加密和解密，另一個是分佈式通信。我們無需在雙方之間建立特定的高速通信，儘管這樣做會有所幫助。我們正在探索通過底層網絡結構來優化此過程。
唐劍
唐劍博士的演講主題是《AIoT關鍵技術及其在交通中的應用》。
在演講中，唐劍指出，AIoT的關鍵技術是深度模型壓縮，而相應的解決方案則是一種自動化和系統化的框架。然後，他展示了運輸場景中的一些應用，並描繪了未來的研究方向。
唐劍在博士生期間的研究課題是無線傳感器網絡，後來人們稱該方向為IoT，也就是今天的物聯網，現在正變得越來越流行。IoT可以簡單理解為連接傳感器等事物的通信網絡。
唐劍博士提出了一個很簡單的等式，AIoT=AI+IoT，IoT可以簡單理解為連接傳感器等事物的通信網絡，AIoT就是利用AI算法和模型使得物聯網變得越來越智能。而以後的大趨勢將是，大量AI學習模型將被部署在資源受限的IoT設備上。
目前的挑戰在於，一方面，那些閑置的IoT設備通常很便宜，特別是它們通常具有非常有限的計算能力、內存和存儲。另一方面，實際上很多應用程序都需要擁有實時性能。例如，在輔助駕駛系統中，就對實時性有非常強烈的要求。
所以，這是AI學習模型要考慮的基本權衡，即準確率與模型大小之間的關係。
如果要實現更高的準確率，一般需要選擇更大更深的深度學習模型，但是很難將這些模型部署到廉價且資源有限的設備上。這也是AIoT面臨的最大挑戰，而對應的解決方案就是深度模型壓縮。
目前有很多對深度模型進行加速和壓縮的方法，其中三種最流行的方法是權重修剪、量化和知識蒸餾。
關於權重修剪，唐劍博士特別提到了發表在NIPS2015上的一項工作提出的非結構化修剪方法。
量化就是用更低的精度對權重進行取值，從而大大減少模型尺寸，只是可能損失一些準確率。
知識蒸餾最初由Hinton發表在NIPS2014的論文中提出。主要思想就是將大模型（老師網絡）的泛化能力遷移到小模型（學生網絡）上，具體來說就是講老師網絡預測的類別概率作為「軟」標籤來訓練學生網絡。
接下來，唐劍博士介紹了他們的解決方案，即自動化和系統化的框架。
該框架事實上是引入了一種自動化的過程，以確定模型壓縮中重要的超參數。唐劍博士發現，在模型壓縮中，最重要的超參數其實是每個層的壓縮率。該框架可以將模型壓縮為80倍，而準確率損失僅有1%。
滴滴在安全車載智能硬件桔視中搭載了預警系統，藉助深度學習算法，可以為駕駛員提供疲勞駕駛提醒、分心駕駛檢測、煙霧檢測等等，有助於安全駕駛。
其中，睡意檢測模型應用了權重修剪和量化方法，而高級駕駛員輔助系統則應用了知識蒸餾方法。
最後，唐劍博士總結了模型壓縮的未來研究方向，包括基於AutoML的方法、聯合權重修剪、量化和知識蒸餾的方法、目標檢測模型的壓縮和加速、語義/實例分割模型的壓縮和加速、結合壓縮的編譯、系統級別的調度和資源優化等。
1、滴滴和其他公司的駕駛安全檢測系統比如Mobileye之間的區別？
據我所知，Mobileye是輔助系統的領先者。它實際上提供所謂的L2級輔助。它實際上已連接基於計算機視覺的系統與汽車上的控制系統。而我們的系統並不直接與汽車的控制系統相連，這是最大的不同。
2、開發這些駕駛安全檢測系統的最終目的是什麼？AI要多久才能實現完全的自動駕駛？
基本上，尤其是L5級自動駕駛，還有很長的路要走，至少還需要五到十年時間才能實現。因此，我認為在當前階段，擁有輔助駕駛系統仍然非常重要，它可以幫助我們改善路況和減少事故。
觀眾問題
Yoshua Bengio:
(1) 你如何看待中美在AI領域的算力差距？
(2) 你如何看待機器學習中的對待樣本？
(3) 關於OOD（out-of- distribution）泛化，已知IID（獨立同分佈）假設不適用的情況下，現在他們組裡對新假設的研究進展如何？他覺得主要的難點會在什麼地方？
(4) 基於變量間的稀疏因子圖（sparse factor graph）來進行因果關係推斷的研究，是否可以利用圖神經網絡來捕捉很好的因果關係？
楊強：
（1）在聯邦學習中，如果所有參與者都沒有完整的標籤（垂直聯邦案例），我們如何衡量聯邦訓練的性能（例如準確性等）？
（2）聯邦學習參與者用於實現良好模型而改組的參數有多少？當前的互聯網基礎設施足夠應對這一需求了嗎？
（3）假如銀行或醫院也參與到聯邦學習中，成為數據管理員，他們並不希望參與的數據透明化，或為個人數據管理員擁有、接觸，您是否有考慮到其中可能涉及的法律或道德問題？
（4）您如何看待無監督學習與自監督學習的發展前景？
（5）機器如何才能學會感知與系統思考，而不僅是分類（ family resemblance）？
（6）遷移學習可以創建強大的邏輯嗎？
（7）您在這次分享中將Bert與GPT-3在用少量數據訓訓練預訓練語言模型上進行了對比，主要想表達的觀點是什麼？
（8）在聯合學習中，集中訓練有什麼作用？
（9）在共享知識/模型時，如何定義（或保護）共享知識的所有權？
（10）楊教授提到，當沒有目標域標籤時，應使用域自適應。當一些目標域標籤存在時，應使用監督遷移學習。關於「一些」，您是否能具體談談？我們是否可以簡單地標記一些目標域數據並減輕對域適應的使用？
唐劍：
（1）滴滴研究網絡壓縮的商業場景是怎樣的？
（2）滴滴所研究或應用的網絡壓縮適用於哪些應用或商業場景？
（3）請問Mobileye和滴滴這兩者的DMS有什麼區別？
AI科技評論聯合【機械工業出版社華章公司】為大家帶來15本「新版蜥蜴書」正版新書。
在10月24號頭條文章《1024快樂！最受歡迎的AI好書《蜥蜴書第2版》送給大家！》留言區留言，談一談你對本書內容相關的看法和期待，或你對機器學習/深度學習的理解。
AI 科技評論將會在留言區選出 15名讀者，每人送出《機器學習實戰：基於Scikit-Learn、Keras和TensorFlow（原書第2版）》一本（在其他公號已獲贈本書者重複參加無效）。
活動規則：
1. 在留言區留言，留言點贊最高的前 15 位讀者將獲得贈書。獲得贈書的讀者請聯繫 AI 科技評論客服（aitechreview）。
2. 留言內容會有篩選，例如「選我上去」等內容將不會被篩選，亦不會中獎。
3. 本活動時間為2020年10月24日 – 2020年10月31日（23:00），活動推送內僅允許中獎一次。
點擊閱讀原文，直達直播專題頁~
