清華大學施路平:雙腦驅動的人工通用智慧
- 2020 年 11 月 12 日
- AI
智源社區 & AI科技評論
作者 | 智源實習生 羅麗
11月1日上午,在第十九屆中國計算語言學大會(CCL2020)上,清華大學類腦計算研究中心主任施路平作了題為《面向人工通用智慧的類腦計算》的主題報告,從類腦計算研究的原因、內容和方法三方面分析了類腦計算、晶片及系統研究所面臨的挑戰和可能的解決方法,重點討論了如何將腦科學和電腦融合,以雙腦驅動的類腦計算推動人工通用智慧的研究。觀看CCL回放,可登錄B站關注「智源研究院」。
施路平教授是清華大學類腦計算研究中心主任,光碟國家工程研究中心主任,以及國際光學工程學會(SPIE)會士。他在2013年加入清華大學創建類腦計算研究中心,提出異構融合類腦計算架構,研製了全球首款異構融合類腦計算「天機芯」,構建人工通用智慧研究演示平台-自動行駛自行車,相關結果作為《Nature》封面文章被發表,被評為2019年中國十大科技進展。
1
為什麼做類腦計算
目前,全球數據量大約每兩年翻一番(另外一種摩爾定律),而基於馮諾依曼架構的電腦在大數據資訊處理時其能耗、速度和頻寬均受到影響;另外,硬體的物理微縮,非結構化數據的處理、數據平均壽命短、數據多樣性、關聯性,數據存儲等都對電腦發展帶來挑戰。
2017年,圖靈獎得主 David A. Patterson 和 John L. Hennessy 在 ACM complication 上發表長文稱,未來的電腦體系架構將迎來黃金髮展十年。改變電腦體系架構,發展新的電腦架構勢在必然。除此之外,人工智慧的三次浪潮——神經網路,第五代神經網路電腦以及深度學習,都與「腦」緊密相關,類腦計算源於人工智慧技術的發展需求。
目前的人工智慧雖得到快速發展,但仍面臨著諸多問題,比如,在語音輸入時,機器無法判斷間隔,無法識別口誤和口音,這是因為機器並沒有真正理解語言。施路平表示,理解不是一個單獨、客觀的過程,它與主體有關,與人類自身的知識結構和經歷有關。因此,需要突破單一結構的智慧研究。
人工智慧的發展需要滿足以下五個條件:1) 充足的數據,2)確定性的問題,3)完備的知識,4)靜態,5)單一的系統。否則,發展人工通用智慧將成為人工智慧突破的最終解決方案。
研究了圖靈和馮諾依曼等人的早期著作和文章後,施路平發現,圖靈等人提出的人工智慧的願景,都是發展通用智慧。他認為,目前的人工智慧具有非常好的發展契機,其原因包括:
1. 隨著先進精密儀器的發展,人類對腦的理解越來越多,我們似乎到了一個理解腦的關口。
2. 超級電腦的發展為我們提供了更好的模擬模擬環境。
3. 大數據和雲計算提供了一個和腦複雜度近似的世界,兩者相互促進,共同發展。
4. 新型納米器件可以製造出和人腦神經元能耗差不多級別的器件。
與AI技術相比,AGI可以處理不確定性問題,小數據、臟數據和缺失數據,可應用於多維繫統,無足夠應對的知識以及動態系統。從根本上來講,AI技術更強調發展的能力,而AGI則更加關注如何把智慧有機地融合起來,使一種能力的提升能夠幫助提升其他能力。

圖1:AI和AGI的比較
圖靈獎得主Geoffrey Hinton認為,克服目前人工智慧發展局限的關鍵是,搭建「一個連接電腦科學和生物學的橋樑」,該思想與施路平團隊所提出的「雙腦融合」的思想一致。
電腦在計算能力、存儲速度、壽命等很多方面早已超過人類,而人腦具有感知、自適應、創新、認知等能力,電腦和大腦的基本原理正好相反,在原理上、功能上和形式上可以形成一個優勢互補的系統,類腦計算是未來電腦的發展重要的領域。施路平認為,腦科學的研究將會為許多科研工作者帶來新的科研啟發,「是一個非常重要的金礦」。

圖2:腦科學的戰略意義
2
類腦計算主要做什麼
類腦計算的研究涵蓋演算法、硬體、晶片和系統等不同層面,是美、英、德等國的重點研究領域。從電腦和互聯網發展來看,類腦計算的發展需要晶片、軟體工具鏈、作業系統和應用的協同發展。施路平認為,晶片中的資訊如何來承載、存儲、計算和利用是類腦晶片的關鍵,而軟體的核心技術問題是軟體環境中資訊流如何分配、交流、調度和控制。
類腦計算可以表示為兩種:Brain-Inspired Computing 和 Brain-Like Computing,前一類是從電腦出發,儘可能借鑒腦科學的基本原理來改變電腦,而另一類是儘可能做到像腦,包括其功能和結構上類腦。從諾貝爾獎和圖靈獎獲獎者的研究來看,大腦和電腦的研究是分別發展的,而目前的研究需要將兩者融合起來發展,形成「雙腦驅動」的發展模式。

圖3:諾貝爾獎和圖靈獎獲獎者的研究
2016年,全球出現了三款類腦電腦,包括美國的TrueNorth、德國的BrainScales,以及英國的SpiNNaker。今年2月,清華大學開發設計了中國第一台類腦電腦——天機電子電腦,該研究於人工智慧雜誌發表。8月,浙江大學發布了一款億級神經元類腦計算系統。類腦計算的研究目前沒有公認的確定方案,是IBM、惠普、英特爾等的重點研究領域。

圖4:近年來類腦計算的研究進展

圖5:主要的類腦計算晶片
在最近發表於《自然機器智慧》雜誌上的一篇論文中,來自麻省理工學(MIT)、維也納技術大學和奧地利科技學院的研究團隊設計了一種模仿生物模型的AI系統,該系統基於類似蟯蟲等小動物大腦而開發的。
研究團隊為神經元和突觸開發了新的數學模型,並結合受大腦啟發的神經計算原理和可擴展的深度學習架構,為全棧自動駕駛車輛控制系統針對特定任務的分隔間製造了緊湊的神經控制器。研究表明,僅使用少量的人工神經元就能控制車輛。
施路平表示,在腦科學的發展中,類腦的精髓是提供一個「方向感」,指導人類的探索方向。
3
怎麼做類腦計算
類腦計算的研究面臨著科學挑戰、技術挑戰等,而其中最難也是最重要的一個挑戰是:多學科深度融合。為促進多學科融合發展,清華大學成立了由七個院系組成清華大學內腦計算研究中心,其研究主要分為三個層次:基礎科學、核心技術和應用。

圖6:清華大學類腦研究架構
清華大學類腦研究主要採用「大腦」和「電腦」雙腦驅動的發展戰略,以電腦為主體,融合腦原理,從理論、晶片、軟體、系統、應用五個方面協同發展,發展方向從一個問題一個解決方案發展到一類問題一個解決方案,並逐漸發展到多類問題一個解決方案,同時和應用緊密結合。
而類腦計算面臨的首要問題是,如何在不理解人腦機制的情況下發展類腦計算系統?
施路平認為,即使我們不知道大腦的基本原理,但我們知道每個神經元對外連接數目超過一千,換句話說,是利用空間複雜度,另外,對時間編碼可引入時空複雜度。基於此,清華大學提出通用類腦計算框架,通過增加類腦晶片,以實現電腦架構處理結構化資訊,類腦晶片處理非結構化資訊的任務。這樣,即使不了解大腦結構,也可以創造出一個新的計算架架構。

圖7:清華大學通用類腦計算架構
新的電腦架構考慮了時空複雜性。電腦驅動的ANN技術能夠很好地反映空間複雜度,像腦一樣工作的SNN更多反映了時空複雜度,將腦科學驅動和電腦方法結合起來,是ANN和SNN融合的範例。

圖8:通用類腦計算的神經網路模型
基於以上研究,清華大學設計構造了全球首款異構融合天機類腦晶片,用3%的代價實現了超過TrueNorth的各項特性,包括密度提高了20%,速度提高了10倍,頻寬擴展了100倍,精度可調,擴展性和靈活性更好等。該研究於去年8月在《Nature》上作為封面被發表。
圖靈架構是整個電腦的基石,清華大學研究團隊提出的類腦計算完備性,用通用近似的思想取代了完備計算的概念,約束的放寬更有利於發展新的計算架構。剛剛過去的10月,清華大學研究團隊在《Nature》上發表的文章,重點介紹了類腦計算的完備性、系統的層次性和一個軟體工具鏈。

圖9:類腦計算完備性
實際上,這是一個人工通用智慧研究平台,研究團隊希望用這樣的一個系統和環境進行交互,當環境變化的時候,觀察系統的變化以及所遵循的基本原理,提出一個環境交互和迭代進化的發展思路,通過利用該系統,構建了一個全網路可擴展的AGI演示平台。

圖10:異構全網路可擴展AGI研究演示平台
今年2月,清華大學研究團隊發布了中國首台類腦電腦的樣機。該樣機是一個異構融合的架構,通過在CPU和GPU旁增加內腦計算晶片,由主機處理結構化資訊,類腦計算晶片承擔異構融合系統,同時來支撐ANN和SNN,以及它們之間異構的建模。

圖11:中國首台類腦電腦的樣機
目前,清華大學正在研究基於類腦計算的雲腦。基於現有伺服器搭建雲腦,該雲腦將具有獨立資料庫、知識圖譜和軟體工具鏈,在解決五類基本問題後逐步發展。

圖12:類腦計算雲腦
最後,施路平表示,目前電腦和人工智慧的發展所面臨的挑戰需要我們發展類腦計算,而雙腦融合驅動是類腦計算髮展的關鍵,類腦計算需要理論、晶片、軟體、系統和應用協同發展,人工通用智慧面向各行各業,雙腦驅動的類腦計算可以賦能各行各業。