Nature重磅：軟硬分離、圖靈完備，清華首次提出「類腦計算完備性」

  • 2020 年 10 月 17 日
  • AI

來源 | 清華大學計算機系校友會

北京時間10月14日，清華大學計算機科學與技術系（以下簡稱「計算機系」）張悠慧團隊、精密儀器系（以下簡稱「精儀系」）施路平團隊與合作者在《Nature》雜誌發文，首次提出「類腦計算完備性」以及軟硬件去耦合的類腦計算系統層次結構。
這是清華大學計算機系以第一完成單位/通訊單位發表的首篇《Nature》論文，也完成了清華大學一年多以來在《Nature》正刊的類腦計算領域「三連發」。
與通用計算機的「圖靈完備性」概念與「馮諾依曼」體系結構相對應，本篇題為《一種類腦計算系統層次結構》（A system hierarchy for brain-inspired computing）的論文首次提出「類腦計算完備性」以及軟硬件去耦合的類腦計算系統層次結構，通過理論論證與原型實驗證明該類系統的硬件完備性與編譯可行性，並擴展了類腦計算系統應用範圍使之能支持通用計算。
類腦計算處於起步階段，國際上尚未形成公認的技術標準與方案，這一成果填補了完備性理論與相應系統層次結構方面的空白，利於自主掌握新型計算機系統核心技術。
近年來，類腦計算研究受到了越來越多的關注。類腦計算，是借鑒生物神經系統信息處理模式和結構的計算理論、體系結構、芯片設計以及應用模型與算法的總稱。
其重要性正如歐盟人腦旗艦研究計劃項目所指出的：「在未來10到20年內，誰要引領世界經濟，誰就必須在這個領域領先。」


現有類腦計算系統方面的研究多聚焦於具體芯片、工具鏈、應用和算法的創新實現，而對系統基礎性問題，例如計算完備性、系統層次結構等思考不足，導致軟硬件緊耦合、應用範圍不明確等一系列問題。

但從現有通用計算機的發展歷史與設計方法論來看，完善的計算完備性與軟硬件去耦合的層次結構是計算系統蓬勃發展的計算理論與系統結構基礎。
圖靈完備性和馮·諾依曼體系結構（詳見附錄1）是通用計算機技術能夠飛速發展並持續繁榮的關鍵因素——幾乎所有的高級編程語言都是圖靈完備的，馮·諾伊曼架構通用處理器則可以通過圖靈完備的指令集實現圖靈完備性，這意味着編程語言編寫的任何程序都可以轉換為任意圖靈完備處理器上的等價指令序列（即「程序編譯」）。
這樣，由軟件層、編譯層、硬件層組成的計算機層次結構就能夠確保應用軟件、指令集、硬件設計在獨立發展的同時相互兼容（即軟硬件去耦合），為整個領域的繁榮發展打下了系統基礎。
但類腦計算領域在飛速發展的同時，卻缺乏對此類基礎問題的研究。
為此，研究團隊提出了「類腦計算完備性」（也稱為神經形態完備性）概念——針對任意給定誤差ϵ≥0和任意圖靈可計算函數f(x)，如果一個計算系統可以實現函數 F(x) 使得 ‖F(x)-f(x)‖≤ϵ對所有合法的輸入x均成立，那麼該計算系統是類腦計算完備的。
通俗來講，『完備性』可以回答系統能夠完成什麼、功能邊界在哪裡等問題。研究完備性，可以為軟硬件系統的解耦合、劃分不同研究領域間的任務分工與接口提供理論基礎，我們的研究聚焦完備性理論研究，先回答基本的問題。
張悠慧說。
清華大學計算機系張悠慧研究員
相對於通用計算機，這一定義放鬆了對系統計算過程和精度的約束。
團隊進一步提出相應的類腦計算機層次結構和確保類腦計算完備性的硬件原語（相當於通用處理器的機器指令）來充分利用這一新完備性帶來的優勢。
該結構具有三個層次（下圖）：圖靈完備的軟件模型；類腦計算完備的硬件體系結構；位於兩者之間的編譯層；並設計構造性轉化算法將任意圖靈可計算函數轉換為類腦計算完備硬件上的模型，進而帶來以下優點：
第一是計算通用性，即判斷系統功能的邊界。面嚮應用的軟件模型是圖靈完備的，為支持各種應用程序(不限於神經網絡類型)的編程提供基礎。
第二是編譯可行性，即降低軟硬件開發的耦合程度。通過上述硬件原語以及構造性轉化算法，確保「圖靈完備」軟件與「類腦計算完備」硬件原語序列間的「類腦計算完備性」等價轉換（如同通用計算機在「圖靈完備性」保證下的「程序編譯」），實現了軟硬件去耦合，從而增強應用系統的開發效率。
第三是引入新的系統設計與優化維度——近似粒度。
圖：類腦計算機層次結構(左)與現有通用計算機（右）的對比
在上述理論與算法基礎上，構建支持通用圖形處理器、類腦天機芯片和基於阻變存儲器的神經形態芯片（仿真）這三類硬件的軟件工具鏈示例，並以智能單車（作為神經網絡應用代表）、鳥群模擬、QR分解（後兩者作為非神經網絡的通用計算應用代表）為示範應用，證實了設計的可行性，同時測試顯示這一設計能夠大幅提升系統優化空間，進而顯著提升系統效能。
《Nature》雜誌的一位審稿人認為「這是一個新穎的觀點，並可能被證明是神經形態計算領域以及對人工智能的追求的重大發展（This is a novel perspective and could prove to be a significant development for the field of neuromorphic computing, and in the quest for artificial general intelligence）」。
計算機體系結構專家、華中科技大學計算機學院教授金海評價此項研究「在類腦計算系統領域做出了基礎性、原創性的貢獻，有利於自主掌握新型計算系統軟硬件核心技術。」
論文的共同第一作者為清華大學計算機系研究員張悠慧、博士後渠鵬、博士生季宇、精儀系博士生張偉豪。
共同通訊作者為張悠慧與施路平教授。其他合作者包括計算機系教授陳文光、計算機系教授鄭緯民院士、原計算機系客座教授/美國特拉華大學電子與計算機工程系教授高光榮，以及來自精儀系、生物醫學工程系、自動化系的師生。
這項研究得到了清華大學、北京信息科學與技術國家研究中心、北京智源人工智能研究院、北京市「腦科學研究」科技專項計劃、北京市未來芯片技術高精尖創新中心、科技部和國家自然基金委等單位的支持。
值得一提的是，從今年春節前夕投稿，到8月上旬正式接收，論文的兩輪修改由各團隊在疫情期間通過線上緊密合作完成。
成員們努力克服交流不便、實驗數據處理困難等問題，針對文章實驗設計回復了超過70頁的反饋文件。與審稿人的交流也使得小組人員對類腦計算有了更為深入的思考，目前，進一步研究已經展開。
文章的發表，意味着清華大學相關團隊在一年多的時間內完成了類腦計算領域《自然》正刊三連發——從2019年8月1日的《Nature》封面文章「Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture」（精儀系施路平教授團隊與合作者）開始，到2020年初的「Fully hardware-implemented memristor convolutional neural network」的文章（微納電子系吳華強教授團隊與合作者），直至此次「A system hierarchy for brain-inspired computing」一文。
上述論文分別從「異構融合的新型類腦計算芯片與系統」、「基於憶阻器件的神經形態芯片」、以及「類腦計算完備性與系統層次結構」等角度完成了類腦計算領域的首次實現。
「施路平教授團隊的研究面向新型類腦計算芯片與系統，是在面向通用人工智能的應用方面開展工作，可以說是我們工作的牽引。而吳華強教授團隊在新器件、新工藝層面的創新，則是我們工作的推動。對於我們研究的計算機系統結構而言，兩者都是重要的支撐。」
張悠慧說：「我們很榮幸能參與其中，進一步探索計算理論和計算系統架構的問題。」
清華大學對學科交叉要求極高的類腦計算研究高度重視，於2014年9月創立由7家院系聯合而成的類腦計算研究中心，精儀系施路平教授擔任中心主任。
中心融合了腦科學、電子、微電子、計算機、自動化、材料以及精密儀器等學科，進行全方位類腦智能研究。
中心瞄準重大科學問題和國家重大需求，特別是未來卡脖子問題提前布局，給老師們以充分的信任和支持，倡導厚積薄發。
近年來，類腦計算研究中心提出了符合腦科學基本規律的新型類腦計算架構——異構融合的天機類腦計算芯片架構，可同時支持計算機科學和神經科學的神經網絡模型，發揮它們各自的優勢。
目前「天機芯」已發展到第三代。第一代天機芯於2015年06月成功流片，該芯片首次將人工神經網絡（Artificial Neural Networks, ANNs）和脈衝神經網絡（Spiking Neural Networks，SNNs）進行異構融合，同時兼顧技術成熟並被廣泛應用的深度學習模型與未來具有巨大前景的計算神經科學模型。
該工作於2015年12月受邀在電子器件領域頂級國際會議IEDM2015上做了特邀報告。還自主研發出第一代類腦計算軟件工具鏈，可支持從深度學習框架到「天機芯」的自動映射和編譯。
第二代天機芯即為發表於去年8月1日《Nature》封面文章上的成果，具有高速度、高性能、低功耗的特點。
相比於當時世界先進的IBM的TrueNorth芯片，其功能更全、靈活性和擴展性更好，密度提升20%，速度提高至少10倍，帶寬提高至少100倍。
同時，研究團隊設計了一個自動駕駛單車實驗，來評估芯片整合多模態信息和做出迅速決策的能力。
這款自動駕駛單車，配備了「天機芯」和IMU傳感器、攝像頭，剎車電機、轉向電機、驅動電機等致動器，以及控制平台、計算平台、天機板級系統等處理平台等。
單車的任務是執行實時物體檢測、跟蹤、語音命令識別、騎行減速等功能，還可實現避障過障、平衡控制和自主決策。這些任務中，部分運用了模擬大腦的模型，而其他則採用了機器學習算法模型。
圖：天機芯片驅動的自動駕駛單車
這一成果被兩院院士選為2019年中國十大科技進展、科技部中國十大科學進展。《Nature》總編斯基珀博士在2019年接受新華社專訪時指出：
「清華天機芯片的論文將人工智能中的計算機科學研究與神經科學研究結合起來，是人工智能領域的重要里程碑」。
目前，中心正在開發第三代天機芯以及新型類腦計算機。而基於現有天機芯片的天機類腦計算機已被2020年第一期人工智能雜誌進行了報道——其解決了兼容傳統計算架構的異構融合類腦計算系統集成技術等一系列問題，是一款能夠滿足類腦智能應用需求的普適類腦計算系統，主要包括系統架構、類腦處理器單元、軟件工具鏈、輸入輸出子系統、類腦計算機加載測試環境等，一代樣機可以對36路異步視頻輸入進行1000 幀/秒的實時數據處理。
第二代天機芯，是我們本次研究依託的代表性類腦計算主要平台之一。從目前數據來看，我們研究的理論成果、系統架構和相關工具鏈的實現方法能夠支持第三代天機芯以及新型類腦計算機的研發。
論文共同第一作者、計算機系博士後渠鵬說。
同時，學校重視類腦計算產業化，類腦計算中心還孵化出了北京靈汐科技公司，是北京市認定的顛覆性創新企業和國家高新企業，已完成多款類腦芯片、異構編譯平台和類腦融合算法的研發。
面對即將到來的計算機架構發展黃金十年，類腦計算被認為是最有希望的方案之一。清華大學團隊所提出的類腦計算系統設計思路，是在現有計算機架構基礎上，加入類腦計算芯片、從而引入空間複雜性和時空複雜性。
這樣既可以保持原有計算機處理結構化信息的的優勢，又可以利用類腦計算芯片提升處理非結構化信息的能力。
團隊將堅持計算機科學和神經科學融合的技術路線，並充分利用新型非易失性存儲器件(包括憶阻器)的特殊性質，發展適合這些器件的新的計算模型和算法，構建完全新型的智能計算體系。
論文鏈接：
//www.nature.com/articles/s41586-020-2782-y
附錄1-圖靈機與馮·諾依曼系統結構
圖靈機是英國數學家阿蘭·圖靈在1936年的文章《On Computable Numbers, with an Application to the Entscheidungsproblem》中提出的抽象計算模型。圖靈機的基本思想源自人們用紙筆進行數學運算的核心操作：記錄/修改符號和注意力在符號之間轉移。
邏輯結構上圖靈機由一條無限長的存儲帶和一個讀寫頭組成，存儲帶被分割為一個個連續的格子，格子內可以存儲一個字符（通常是『0』，『1』或空白），而讀寫頭則可以從一個格子移動到另一個格子，並修改格子中的內容。控制讀寫頭移動的「程序」，則通常被描述為一個有限狀態機。
圖靈機被視為現代計算機設計與算法的源頭與基石，圍繞圖靈機誕生了一系列的重要的計算理論，其中就包括圖靈完備性：（在忽略資源限制的前提下）任意邏輯系統（編程語言、軟件系統、硬件系統等）如果具有等價於通用圖靈機的計算能力（即可以與圖靈機互相模擬），則該系統是圖靈完備的。
邱奇-圖靈論題（該論題尚未被證明，但計算機領域普遍認為其為真）認為所有計算和算法都可以通過圖靈機來執行。所以可以認為圖靈完備性定義了當前計算機所能達到的能力極限。
馮·諾伊曼體系結構是由美國籍匈牙利裔數學家馮·諾伊曼於1946年提出的處理器體系結構模型。一般而言，馮·諾伊曼體系結構將處理器分為控制器、運算器、存儲結構、輸入輸出設備等部分，是通用計算機硬件設計的範式。
NeurIPS 2020論文接收列表已出，歡迎大家投稿讓更多的人了解你們的工作~

點擊閱讀原文，直達NeurIPS小組~

VirMach 便宜 VPS

QNews

QNews