Nature重磅：軟硬分離、圖靈完備，清華首次提出「類腦計算完備性」

  • 2020 年 10 月 17 日
  • AI

來源 | 清華大學電腦系校友會

北京時間10月14日，清華大學電腦科學與技術系（以下簡稱「電腦系」）張悠慧團隊、精密儀器系（以下簡稱「精儀系」）施路平團隊與合作者在《Nature》雜誌發文，首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。
這是清華大學電腦系以第一完成單位/通訊單位發表的首篇《Nature》論文，也完成了清華大學一年多以來在《Nature》正刊的類腦計算領域「三連發」。
與通用電腦的「圖靈完備性」概念與「馮諾依曼」體系結構相對應，本篇題為《一種類腦計算系統層次結構》（A system hierarchy for brain-inspired computing）的論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構，通過理論論證與原型實驗證明該類系統的硬體完備性與編譯可行性，並擴展了類腦計算系統應用範圍使之能支援通用計算。
類腦計算處於起步階段，國際上尚未形成公認的技術標準與方案，這一成果填補了完備性理論與相應系統層次結構方面的空白，利於自主掌握新型電腦系統核心技術。
近年來，類腦計算研究受到了越來越多的關注。類腦計算，是借鑒生物神經系統資訊處理模式和結構的計算理論、體系結構、晶片設計以及應用模型與演算法的總稱。
其重要性正如歐盟人腦旗艦研究計劃項目所指出的：「在未來10到20年內，誰要引領世界經濟，誰就必須在這個領域領先。」


現有類腦計算系統方面的研究多聚焦於具體晶片、工具鏈、應用和演算法的創新實現，而對系統基礎性問題，例如計算完備性、系統層次結構等思考不足，導致軟硬體緊耦合、應用範圍不明確等一系列問題。

但從現有通用電腦的發展歷史與設計方法論來看，完善的計算完備性與軟硬體去耦合的層次結構是計算系統蓬勃發展的計算理論與系統結構基礎。
圖靈完備性和馮·諾依曼體系結構（詳見附錄1）是通用電腦技術能夠飛速發展並持續繁榮的關鍵因素——幾乎所有的高級程式語言都是圖靈完備的，馮·諾伊曼架構通用處理器則可以通過圖靈完備的指令集實現圖靈完備性，這意味著程式語言編寫的任何程式都可以轉換為任意圖靈完備處理器上的等價指令序列（即「程式編譯」）。
這樣，由軟體層、編譯層、硬體層組成的電腦層次結構就能夠確保應用軟體、指令集、硬體設計在獨立發展的同時相互兼容（即軟硬體去耦合），為整個領域的繁榮發展打下了系統基礎。
但類腦計算領域在飛速發展的同時，卻缺乏對此類基礎問題的研究。
為此，研究團隊提出了「類腦計算完備性」（也稱為神經形態完備性）概念——針對任意給定誤差ϵ≥0和任意圖靈可計算函數f(x)，如果一個計算系統可以實現函數 F(x) 使得 ‖F(x)-f(x)‖≤ϵ對所有合法的輸入x均成立，那麼該計算系統是類腦計算完備的。
通俗來講，『完備性』可以回答系統能夠完成什麼、功能邊界在哪裡等問題。研究完備性，可以為軟硬體系統的解耦合、劃分不同研究領域間的任務分工與介面提供理論基礎，我們的研究聚焦完備性理論研究，先回答基本的問題。
張悠慧說。
清華大學電腦系張悠慧研究員
相對於通用電腦，這一定義放鬆了對系統計算過程和精度的約束。
團隊進一步提出相應的類腦電腦層次結構和確保類腦計算完備性的硬體原語（相當於通用處理器的機器指令）來充分利用這一新完備性帶來的優勢。
該結構具有三個層次（下圖）：圖靈完備的軟體模型；類腦計算完備的硬體體系結構；位於兩者之間的編譯層；並設計構造性轉化演算法將任意圖靈可計算函數轉換為類腦計算完備硬體上的模型，進而帶來以下優點：
第一是計算通用性，即判斷系統功能的邊界。面嚮應用的軟體模型是圖靈完備的，為支援各種應用程式(不限於神經網路類型)的編程提供基礎。
第二是編譯可行性，即降低軟硬體開發的耦合程度。通過上述硬體原語以及構造性轉化演算法，確保「圖靈完備」軟體與「類腦計算完備」硬體原語序列間的「類腦計算完備性」等價轉換（如同通用電腦在「圖靈完備性」保證下的「程式編譯」），實現了軟硬體去耦合，從而增強應用系統的開發效率。
第三是引入新的系統設計與優化維度——近似粒度。
圖：類腦電腦層次結構(左)與現有通用電腦（右）的對比
在上述理論與演算法基礎上，構建支援通用圖形處理器、類腦天機晶片和基於阻變存儲器的神經形態晶片（模擬）這三類硬體的軟體工具鏈示例，並以智慧自行車（作為神經網路應用代表）、鳥群模擬、QR分解（後兩者作為非神經網路的通用計算應用代表）為示範應用，證實了設計的可行性，同時測試顯示這一設計能夠大幅提升系統優化空間，進而顯著提升系統效能。
《Nature》雜誌的一位審稿人認為「這是一個新穎的觀點，並可能被證明是神經形態計算領域以及對人工智慧的追求的重大發展（This is a novel perspective and could prove to be a significant development for the field of neuromorphic computing, and in the quest for artificial general intelligence）」。
電腦體系結構專家、華中科技大學電腦學院教授金海評價此項研究「在類腦計算系統領域做出了基礎性、原創性的貢獻，有利於自主掌握新型計算系統軟硬體核心技術。」
論文的共同第一作者為清華大學電腦系研究員張悠慧、博士後渠鵬、博士生季宇、精儀系博士生張偉豪。
共同通訊作者為張悠慧與施路平教授。其他合作者包括電腦系教授陳文光、電腦系教授鄭緯民院士、原電腦系客座教授/美國特拉華大學電子與電腦工程系教授高光榮，以及來自精儀系、生物醫學工程系、自動化系的師生。
這項研究得到了清華大學、北京資訊科學與技術國家研究中心、北京智源人工智慧研究院、北京市「腦科學研究」科技專項計劃、北京市未來晶片技術高精尖創新中心、科技部和國家自然基金委等單位的支援。
值得一提的是，從今年春節前夕投稿，到8月上旬正式接收，論文的兩輪修改由各團隊在疫情期間通過線上緊密合作完成。
成員們努力克服交流不便、實驗數據處理困難等問題，針對文章實驗設計回復了超過70頁的回饋文件。與審稿人的交流也使得小組人員對類腦計算有了更為深入的思考，目前，進一步研究已經展開。
文章的發表，意味著清華大學相關團隊在一年多的時間內完成了類腦計算領域《自然》正刊三連發——從2019年8月1日的《Nature》封面文章「Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture」（精儀系施路平教授團隊與合作者）開始，到2020年初的「Fully hardware-implemented memristor convolutional neural network」的文章（微納電子系吳華強教授團隊與合作者），直至此次「A system hierarchy for brain-inspired computing」一文。
上述論文分別從「異構融合的新型類腦計算晶片與系統」、「基於憶阻器件的神經形態晶片」、以及「類腦計算完備性與系統層次結構」等角度完成了類腦計算領域的首次實現。
「施路平教授團隊的研究面向新型類腦計算晶片與系統，是在面向通用人工智慧的應用方面開展工作，可以說是我們工作的牽引。而吳華強教授團隊在新器件、新製程層面的創新，則是我們工作的推動。對於我們研究的電腦系統結構而言，兩者都是重要的支撐。」
張悠慧說：「我們很榮幸能參與其中，進一步探索計算理論和計算系統架構的問題。」
清華大學對學科交叉要求極高的類腦計算研究高度重視，於2014年9月創立由7家院系聯合而成的類腦計算研究中心，精儀系施路平教授擔任中心主任。
中心融合了腦科學、電子、微電子、電腦、自動化、材料以及精密儀器等學科，進行全方位類腦智慧研究。
中心瞄準重大科學問題和國家重大需求，特別是未來卡脖子問題提前布局，給老師們以充分的信任和支援，倡導厚積薄發。
近年來，類腦計算研究中心提出了符合腦科學基本規律的新型類腦計算架構——異構融合的天機類腦計算晶片架構，可同時支援電腦科學和神經科學的神經網路模型，發揮它們各自的優勢。
目前「天機芯」已發展到第三代。第一代天機芯於2015年06月成功流片，該晶片首次將人工神經網路（Artificial Neural Networks, ANNs）和脈衝神經網路（Spiking Neural Networks，SNNs）進行異構融合，同時兼顧技術成熟並被廣泛應用的深度學習模型與未來具有巨大前景的計算神經科學模型。
該工作於2015年12月受邀在電子器件領域頂級國際會議IEDM2015上做了特邀報告。還自主研發出第一代類腦計算軟體工具鏈，可支援從深度學習框架到「天機芯」的自動映射和編譯。
第二代天機芯即為發表於去年8月1日《Nature》封面文章上的成果，具有高速度、高性能、低功耗的特點。
相比於當時世界先進的IBM的TrueNorth晶片，其功能更全、靈活性和擴展性更好，密度提升20%，速度提高至少10倍，頻寬提高至少100倍。
同時，研究團隊設計了一個自動駕駛自行車實驗，來評估晶片整合多模態資訊和做出迅速決策的能力。
這款自動駕駛自行車，配備了「天機芯」和IMU感測器、攝影機，剎車電機、轉向電機、驅動電機等致動器，以及控制平台、計算平台、天機板級系統等處理平台等。
自行車的任務是執行實時物體檢測、跟蹤、語音命令識別、騎行減速等功能，還可實現避障過障、平衡控制和自主決策。這些任務中，部分運用了模擬大腦的模型，而其他則採用了機器學習演算法模型。
圖：天機晶片驅動的自動駕駛自行車
這一成果被兩院院士選為2019年中國十大科技進展、科技部中國十大科學進展。《Nature》總編斯基珀博士在2019年接受新華社專訪時指出：
「清華天機晶片的論文將人工智慧中的電腦科學研究與神經科學研究結合起來，是人工智慧領域的重要里程碑」。
目前，中心正在開發第三代天機芯以及新型類腦電腦。而基於現有天機晶片的天機類腦電腦已被2020年第一期人工智慧雜誌進行了報道——其解決了兼容傳統計算架構的異構融合類腦計算系統集成技術等一系列問題，是一款能夠滿足類腦智慧應用需求的普適類腦計算系統，主要包括系統架構、類腦處理器單元、軟體工具鏈、輸入輸出子系統、類腦電腦載入測試環境等，一代樣機可以對36路非同步影片輸入進行1000 幀/秒的實時數據處理。
第二代天機芯，是我們本次研究依託的代表性類腦計算主要平台之一。從目前數據來看，我們研究的理論成果、系統架構和相關工具鏈的實現方法能夠支援第三代天機芯以及新型類腦電腦的研發。
論文共同第一作者、電腦系博士後渠鵬說。
同時，學校重視類腦計算產業化，類腦計算中心還孵化出了北京靈汐科技公司，是北京市認定的顛覆性創新企業和國家高新企業，已完成多款類腦晶片、異構編譯平台和類腦融合演算法的研發。
面對即將到來的電腦架構發展黃金十年，類腦計算被認為是最有希望的方案之一。清華大學團隊所提出的類腦計算系統設計思路，是在現有電腦架構基礎上，加入類腦計算晶片、從而引入空間複雜性和時空複雜性。
這樣既可以保持原有電腦處理結構化資訊的的優勢，又可以利用類腦計算晶片提升處理非結構化資訊的能力。
團隊將堅持電腦科學和神經科學融合的技術路線，並充分利用新型非易失性存儲器件(包括憶阻器)的特殊性質，發展適合這些器件的新的計算模型和演算法，構建完全新型的智慧計算體系。
論文鏈接：
//www.nature.com/articles/s41586-020-2782-y
附錄1-圖靈機與馮·諾依曼系統結構
圖靈機是英國數學家阿蘭·圖靈在1936年的文章《On Computable Numbers, with an Application to the Entscheidungsproblem》中提出的抽象計算模型。圖靈機的基本思想源自人們用紙筆進行數學運算的核心操作：記錄/修改符號和注意力在符號之間轉移。
邏輯結構上圖靈機由一條無限長的存儲帶和一個讀寫頭組成，存儲帶被分割為一個個連續的格子，格子內可以存儲一個字元（通常是『0』，『1』或空白），而讀寫頭則可以從一個格子移動到另一個格子，並修改格子中的內容。控制讀寫頭移動的「程式」，則通常被描述為一個有限狀態機。
圖靈機被視為現代電腦設計與演算法的源頭與基石，圍繞圖靈機誕生了一系列的重要的計算理論，其中就包括圖靈完備性：（在忽略資源限制的前提下）任意邏輯系統（程式語言、軟體系統、硬體系統等）如果具有等價於通用圖靈機的計算能力（即可以與圖靈機互相模擬），則該系統是圖靈完備的。
邱奇-圖靈論題（該論題尚未被證明，但電腦領域普遍認為其為真）認為所有計算和演算法都可以通過圖靈機來執行。所以可以認為圖靈完備性定義了當前電腦所能達到的能力極限。
馮·諾伊曼體系結構是由美國籍匈牙利裔數學家馮·諾伊曼於1946年提出的處理器體系結構模型。一般而言，馮·諾伊曼體系結構將處理器分為控制器、運算器、存儲結構、輸入輸出設備等部分，是通用電腦硬體設計的範式。
NeurIPS 2020論文接收列表已出，歡迎大家投稿讓更多的人了解你們的工作~

點擊閱讀原文，直達NeurIPS小組~

VirMach 便宜 VPS

QNews

QNews