清華大學張鈸：實現下一代人工智能的兩個範式

• 2021 年 8 月 6 日
• AI

8月3日，首屆全球數字經濟大會在京召開。在人工智能產業治理論壇上，來自我國人工智能領域的頂尖科學家，圍繞主題「探索創新、共舉擔當」展開前沿對話。

其中，中科院院士、清華大學人工智能研究院名譽院長張鈸做了《人工智能的治理與創新發展》的演講。在演講中，張鈸介紹了實現下一代人工智能的兩個範式，其中「所有的處理都在連續空間里進行」的範式一，優點是計算機處理方便，缺點是當知識轉為向量表示形式時，丟失了大量語義。

以「打通離散空間和連續空間」為特徵的範式二，其優點在於能夠從根本上實現第三代人工智能，但缺點在於難以進行模型表示和模型獲取。

以下是演講全文，AI科技評論做了不改變原意的整理（本文經張鈸院士確認）：

張鈸：今天演講的主題是《人工智能的治理與創新發展》，介紹第三代人工智能的必要性以及目前兩種探索途徑。

其實，在信息產業發展與技術發展過程也出現過安全性的問題，但信息系統安全性的問題主要來自於大型軟件設計上的漏洞或者缺陷，所以相對容易克服。如果發現漏洞只要「補上」就能解問題。

人工智能技術發展到今天，也出現了一些全新的安全問題，但根源不在系統設計方面，而是來源於算法本身的不安全性。因此，解決人工智能的安全問題，必須從算法本身出發，徹底改變，才能讓使用者放心。因此，人工智能的安全涉及的因素更加本質，也更難以克服，需要從兩個方面入手。

一個方面是治理，治理有兩個含義：一是防止人工智能技術被無意識地誤用，因為人工智能算法的不安全性很難被預先發現的或者覺察，所以在使用過程中會出現很多錯誤，如果我們在使用的過程中不注意到這個問題，就會產生無意識的錯用，造成非常嚴重的後果。

第二類問題是有意識地濫用人工智能技術，即惡意對人工智能系統進行攻擊或者濫用，這必須通過法律和法規解決。

今天我主要講算法的不安全性，即如何通過技術的創新解決人工智能算法的不安全性問題。也就是我們提出來的，發展第三代人工智能的思路。算法的不安全性來源於第二代人工智能，其特徵是數據驅動。圖像處理、語音識別、文本處理等任務在「深度學習」和「多樣性的數據」的加持下，系統效率非常高。但本質問題是算法非常脆弱。

如上圖所示，這是一個圖像識別的例子。一張雪山的圖片，加上一點點「噪聲」，人類仍然認為是一座雪山，但計算機卻誤認為一條狗，且置信度為99.99%。從這個例子中，我們不僅看出人類和計算機識別機制的差別，也力證了算法的脆弱性。

原因何在？在於黑箱算法本身。如上圖所示，計算機並不知道馬在哪兒，之所以能準確識別，其採取的機制是：提取局部特徵。換句話說，並不是提取馬本身的語義特徵，僅僅通過提取圖片的底層特徵進行區別。

上述兩個例子都證明了一個觀點：根本性的原理出現了問題。更通俗一些，這種處理方法的局限性表現在：對於圖像，我們完全將其放到特徵向量空間中，放到連續數據空間中進行處理和分類。因此，算法並不是從認知層面識別物體，而是用分類的方法區分物體。

基於上述缺點，我們提出第三代人工智能，建立可解釋的魯棒人工智能理論。人工智能發展至今，幾起幾伏，進展非常緩慢，根本原因是沒有堅實的理論基礎。這與信息科技的發展完全不同，由於其有完備的理論，所以發展非常迅速。我們必須建立人工智能的理論，這才能開發出可信、可靠、可信及可擴展的人工智能技術，從而推動進一步發展。

第三代人工智能的一個核心是知識驅動和數據驅動相結合，充分發揮知識、數據、算法和算力四要素的作用。四個要素，知識當先，其重要性大於數據。

在知識驅動的思想下，我們提出三空間混合模型，打通「第一代人工智能在離散符號空間里處理知識（語義、符號）」和「第二代人工智能在連續空間里處理數據」這兩種方法的隔閡，期望能夠在連續空間里處理知識、語義，從而賦予計算機「認知馬」的能力。

如何實現？有兩種範式。範式一：所有的處理都在連續空間里進行。在連續向量空間中用數據驅動的方法不具有語義功能，原因還是在於前面提到的「局部特徵」。我再舉一個例子，如上圖所示，計算機識別鳥，提取的特徵來自「頭部發白部分」，這種方法非常容易受到攻擊，僅在「頭部」用一些手段，就能讓系統處理效率大大降低。

要克服這個問題必須在模型中融入知識。目前我的團隊，以及瑞萊智慧都在這個方向上努力。基本思路是將知識放進空間向量中進行處理。其中知識的表示方法，我們在想辦法用概率或者向量的方法表達出來，目的是想和原來的算法結合起來。

當前的一些相關進展是對抗訓練，即用對抗樣本訓練系統，且能夠告訴系統「雖然這個樣本在某些局部特徵上和鳥相同，但它並不是鳥，對抗樣本不能識別為真正的樣本」。因此，對抗訓練能夠在某種程度上賦予算法知識。

對抗訓練也有局限性，如果換一種對抗樣本，計算機或許還會犯同樣的錯誤。為了解決這個問題，清華大學和瑞萊智慧合作，在貝葉斯深度學習上下功夫，嘗試將先驗知識、後驗約束加上去，目前已經看到了非常好的效果。

其實，這也是現在全世界主要的工作思路，其優勢在於能夠發揮深度學習的威力。畢竟，深度學習有各種數學工具的優勢，在處理連續向量空間上很有「天賦」。但這種方法基本上只能夠針對某些特定條件、特定攻擊，雖然計算機很擅長，但治標不治本，還有很長的路要走。

範式一的困難性在於：當知識轉為向量表示形式時，丟失了大量語義，算法的魯棒性提高並不多，因為關鍵是尋找更有效的「嵌入」方法。

因此，範式二「打通兩個空間」的思路有可能從根本上解決問題。計算機在完成圖像識別任務的時候，並沒有進行圖像分割。換句話說，計算機並不知道馬在什麼地方，也不知道何處有馬。如果想要實現where和what，需要同時做馬的識別和馬的分割，目前這方面的工作還沒有同時進行，因為「認識」和「分割」這兩項工作都很難。

相比之下，人類又是如何識別馬的？通過無監督學習。我們小的時候，尤其是一兩歲以前，非常重要的任務是「無監督學習」，建立周圍常見物體的模型，所以我們兩歲以前有了狗和貓的模型，已經認識貓和狗，因此我們通過舉一反三很容易建立起來馬的模型，換句話講我們所以能夠識別馬，就是因為我們早已認識馬，我們大腦裏面有馬的模型。

如何在計算機裏面建立模型？如何通過無監督的方法進行學習、鑒定？我的博士生做的一個工作是：想辦法通過學習，把所有馬的模型建立在隱變量裏面，然後通過採樣實現馬的識別，實際上此模型是通過無監督學習或者預訓練進行建立的。目前，用這個思路建立的模型，在完成分類、識別任務時候，效率大幅度提升。

不得不承認，這條路仍然非常艱巨。還拿馬舉例，因為物體是非剛性的，馬有各種變形，躺下的馬和跑起來的馬在形狀上大不相同。所以需要建立什麼樣的模型，是需要探討的問題。

綜上，範式二的本質困難在於兩個方面，一是模型的表示，是採用確定性還是概率性的方式？二是模型的獲取，是通過無監督還是強化學習？

發展第三代人工智能是一項非常長期的任務，人工智能的安全和治理也是長期的任務，安全問題是由算法本身引起，徹底解決有很長的路要走。

解決人工智能安全性問題必須兩手抓，一手抓治理，治理不是短期的任務，是長期的任務；一手抓創新發展，創新發展要克服人工智能算法本身的不安全性，也是一個長期的任務。

「共倡宣言」為下一代人工智能保駕護航

為了更好的推動人工智能技術創新和產業穩健發展，形成更完備規範的創新體系和產業生態，《人工智能產業擔當宣言》也在本次論壇上正式對外發佈。

宣言由北京智源人工智能研究院、瑞萊智慧聯合發起，百度、華為、螞蟻集團、寒武紀、愛筆科技、第四範式、出門問問等人工智能行業的核心骨幹企業、學術研究機構共同參與。

北京瑞萊智慧科技有限公司CEO田天作為論壇承辦方與宣言核心參與方率先表示，讓人工智能更好地服務於人類，是行業共同的目標，當整個社會重新審視技術的價值，科技從業者更應感受到科技治理的緊迫性和使命感，應當積極主動開展自治工作，同時開放共享，共舉科技擔當，將科技力量打造成為人工智能創新治理體系中的核心支撐。

宣言包含五項倡議，首先強調，人工智能系統的設計、研發、實施和推廣應符合可持續發展理念，以促進社會安全和福祉為目標，以尊重人類尊嚴和權益為前提。其次在技術能力方面，提出要最大限度確保人工智能系統安全可信，提高魯棒性及抗干擾性，要增強算法透明性和可解釋性，同時保障各方權利和隱私，對用戶數據提供充分的安全保障。

雷鋒網雷鋒網雷鋒網