中科院計算所陳雲霽：深度學習晶片剩下的只是工程問題，我們要起航探索新方向

• 2019 年 11 月 11 日
• 筆記

陳雲霽，是一位80後，但卻是智慧晶片研究的領軍人物。

在9月中旬，北京智源人工智慧研究院曾舉辦「智慧體系架構與晶片」重大研究方向的發布會，發布會上宣布中科院計算所陳雲霽研究員將擔任這個方面的首席科學家，帶領 9 位智源研究員（PI）與 6 位智源青年科學家共同探索麵向未來的高效能、通用智慧處理器。

在10 月 31 日北京智源人工智慧研究院舉辦的首屆「智源大會」上，陳雲霽再次就該重大研究方向接受 AI科技評論等媒體採訪。

陳雲霽

陳雲霽，中科院計算所智慧處理器研究中心研究員，主任，博導。研究方向為機器學習處理器，在深度學習處理器領域獲得了突出成績。擁有30餘項已授權的發明專利，發表或錄用學術論文100餘篇，其中CCF A類頂級會議/期刊論文34篇（大部分為一作或通訊作者）。2016~2018的CCF A類會議ISCA平均有近1/4的論文引用他的論文從事深度學習處理器的研製。曾獲中國青年科技獎、國家萬人計劃「青年拔尖人才」、國家自然科學基金「優秀青年基金」、中國電腦學會青年科學家獎、中國電腦學會科學技術一等獎（第一完成人）等榮譽。

陳雲霽表示工業時代以發動機為時代發展的核心物質載體，帶動社會進步；資訊時代則是以CPU為核心物質載體；我們即將進入一個智慧的時代，那麼我們必須去探索智慧時代的核心物質載體，即智慧計算系統。

在他的帶領下，智源的9位研究員與6位青年科學家將去探索四個方向的研究，包括智慧整機、編譯語言與編譯、智慧晶片以及設計方法學。16位研究人員的研究規劃如下圖所示：

陳雲霽是深度學習處理器的開拓者，但他表示深度學習處理器本身的科學問題已經相對比較清晰，後面更多的是工程問題，而非科學問題；而他們作為智源學者所要做的是去發現更新的科學研究方向，解決新的科學問題。

此外談到類腦晶片是否是馮諾依曼架構這個問題時，陳雲霽表示，我們應當去閱讀馮諾依曼在1945年寫的那個報告原文，在原文中馮諾依曼曾花費十幾章來論證一個問題，即整個馮諾依曼機可以用神經元來搭建。因此未來的類腦晶片是否是馮諾依曼架構，需要就事而論。

以下是陳雲霽研究員的具體談話，AI 科技評論進行了不改變原意的編輯，內容未經本人確認——

（參與媒體：AI 科技評論、CSDN、財新網、智東西）

智慧時代的物質載體

陳雲霽：各位朋友好！我是中國科學院計算技術研究所的陳雲霽。我們代表的方向是智源人工智慧研究院成立的第三個重大研究方向——智慧體系架構與晶片。與其他幾個方向不太一樣的是，我們這個方向更多是偏向硬體和系統，其他的方向相對來說更偏向演算法、應用層面。某種意義上來說，我們在智源研究體系裡面是最底層、最基礎的。

事實上，智慧計算系統對於整個人工智慧發展來說都是非常關鍵的。我們可能都是唯物主義者，工業時代必須要有自己的核心物質載體，就是發動機；資訊時代需要有CPU作為核心物質載體；智慧時代也要有自己的核心物質載體，我們認為智慧計算系統就是智慧時代的核心物質載體。因此智源研究院設置這樣一個方向專門來做這塊研究，是非常有必要的。

我們這個方向大概有制定了四個層面的研究：

• 第一個是最上層的智慧整機，相當於一個完整的智慧電腦交付給大家；
• 第二層面是程式語言和編譯，我們怎麼去寫智慧程式，用什麼樣的語言編寫這樣的智慧程式，寫出來的智慧程式又怎麼編譯到智慧晶片，讓智慧晶片能理解；
• 第三個層面就是做各種各樣具體的智慧晶片，我們大概布局了四種智慧晶片的研究；
• 最底層是智慧晶片的設計方法學的研究，說白了是研究怎麼能夠快速用開源工具設計出新的智慧晶片。

我們這個方向有10個PI，主要是來自於清華、北大、中科院；還有5位青年科學家，也是來自清華、北大和中科院。總體情況就是這樣。

探索新方向

問：之前有記者採訪孫茂松教授，他提到現在「深度學習碰壁了，面臨一個困境」。您怎麼看待這個觀點，以及這會對您在深度學習處理器的研究上有什麼影響？

陳雲霽：孫老師講的是很有道理的，學術研究的角度上看，深度學習的邊界已經相對比較清楚了，它能幹什麼，不能幹什麼，現在大家開始有一些感覺了。比如很多高級認知功能，推理、聯想、創造等，深度學習似乎都很難解決。當然不排除未來有變革，但目前深度學習方法都不能完全解決這些問題。

因此，智源研究院應該去探索一些更新的東西，智源並不是一個企業的研究院或者說甚至並不像科技部。智源需要有更大的勇氣和決心去探索更前瞻的、對於我們整個人類來說都是未知的東西。在我們布局智慧體系架構與晶片的研究方向中，我們10個PI在4個層面上進行的研究，某種意義上來說沒有把深度學習處理器的研究當成主要的研究內容。

在我看來深度學習處理器本身的科學問題相對已經比較清晰了，後面更多的是工程上的問題。而我們智源要去做的事情，應該是去發現新的科學問題、新的科學方向，解決新的科學問題。在這個層面上，我們希望探索的是未來十年，我們有沒有可能設計出新的類型的智慧體系架構，不僅僅是能效比今天寒武紀或者其他的智慧晶片高10倍、100倍，更重要的是它能解決更廣闊的人工智慧應用。它不僅僅是解決深度學習的任務，還應該解決更廣闊的其他機器學習方法，包括貝葉斯網路、決策樹、深度學習，甚至說它能夠更高效地去解決剛才我講的那些高級認知類的功能，推理、聯想、創造等。

只有把這樣的晶片做出來，我們才能說這個晶片是未來能夠在我們通往強人工智慧道路上發揮關鍵作用的晶片。這也是我們這個方向裡面10個PI一起討論凝練出來的目標，我們自己也覺得這樣的目標對於我們做基礎研究的人來說是比較激動人心的。

四類智慧晶片

問：您提到布局了四種智慧晶片的研究，能不能詳細解釋一下哪四種？

陳雲霽：這裡面有四個方面：

第一，類腦的智慧晶片。大家都知道前段時間有一個非常有影響力的工作，清華大學施路平教授做的類腦晶片的工作，發表在Nature的封面上。這說明北京在這個方向，在國際上都是處於一個比較前列的地位。我們這裡面四個方向中的第一個方向是類腦的智慧晶片，希望我們的晶片能夠像接近我們大腦工作機理去運轉。

第二，機器學習處理器，我們過去對深度學習處理器（例如「寒武紀」晶片）有所了解，未來想做的機器學習處理器，不僅僅是深度學習，還能夠進行貝葉斯、決策樹、線性回歸等更廣闊的機器學習方法，都能夠非常高效地處理。

第三，可重構的智慧晶片。我們想未來十年、二十年，智慧演算法還會快速發展，以後產生出來的智慧演算法可能是我們今天聞所未聞，甚至是想都沒有想到過的。如果我們未來的智慧晶片不能支撐未來新的演算法，業務面就會受限，我們想探索一種可重構的智慧晶片的方法。它可以根據我們的應用需求，靈活地進行動態配置，去適配未來的演算法。這樣的話，未來不管智慧演算法怎麼演進，我們的晶片都能夠比較好地支撐。

第四，應用驅動的晶片。我們在日常生活中得到的資訊都是時序資訊。我們從外界得到的資訊，一般都是影片序列和語音序列等。面向影片序列和語音序列的應用也非常多，我們想看看是否能夠發展一類專門去處理時間序列資訊的晶片。這是一類以應用為驅動的專門的晶片。

這四個方向要麼是國際學術的前沿，要麼就是未來很有潛力的學科增長點，要麼是有非常實際的應用需求。但有一個共同點，它們都是在學術上相對比較前瞻的。

當時張宏江博士（智源研究院理事長）和黃鐵軍教授（智源研究院院長）最開始在跟我們說設置這個方向的時候，給我們的建議就是，現在企業已經能幹的事情，已經能往產品做的事情，我們智源就不要去做了；因為這些已經有很多的投入，很多的人在做，我們要看更遠的東西。

問：您提到的可重構智慧計算架構與機器學習處理器之間有什麼區別？

陳雲霽：我打一個不是很準確的比方。這兩者都是希望實現通用，都是希望實現靈活性。

機器學習處理器的思路是樂高積木這樣的思路，通過找到各種機器學習演算法的最大公約數，形成一個指令級，用指令的拼接組合（就像用很多樂高積木的即插件）就可以拼出一個機器學習的演算法。可能這個演算法我沒有見過，但是這個即插件只要設計的足夠好，就能夠拼出這個東西來。可重構的智慧晶片類似橡皮泥這種模式，你根據自己的需求把這塊橡皮泥捏出你想要的形狀。

所以從某種角度上來說，機器學習處理器更像樂高積木，可重構處理器更像橡皮泥。橡皮泥有很小的顆粒，樂高積木的顆粒相對比較大。最後達到的效果是類似的。

問：您剛才提到四種晶片，具體來說您比較看好哪個晶片？

陳雲霽：這是很有意思的問題，這4個類型的晶片我覺得都挺有發展潛力的。而且事實上，我覺得未來智源如果不斷地發展，完全有可能再出現支援第五類、第六類。基礎研究的模式可能跟純做大工程還不太一樣。大工程，比如做一個原子彈，最後就是一個原子彈。基礎研究要同時平行探索好幾條路徑，到底哪條路徑能成功，需要時間來檢驗，這個過程中路徑有可能分叉，也有可能有合併。

至於我看好哪一條，需要看長期還是短期。

長期來看，比如30年、40年或者50年，類腦這塊是有很大的潛力。今天它發展的並不成熟，但是我想肯定是我們這方面做科學研究的終極目標。

如果從比較實際的角度來看，能夠比較短期快速的從基礎研究變成應用技術的，可能會是機器學習處理器。畢竟機器學習大家還是在廣闊地使用。

可重構也非常有價值，包括時間序列的晶片，一定要我說哪一個最好，很難判斷。今天可能我們判斷這件事情為時太早，要有十年、二十年才能檢驗得出來。

通用與性能

問：您之前說晶片需要通用和靈活性兼具，包括您說的機器學習處理器，這些都是需要通用和靈活性兼具的。其實市場上有通用型的包括CPU、FPGA這種，您覺得未來更好的是哪個類型？

陳雲霽：產業方面我不是特別好判斷。

從我們做基礎研究的角度來說，做研究有一個研究的品味，我們會比較希望去做一些相對更通用的東西。一方面它要能效很高，另外我們也希望它儘可能通用。

電腦領域最重要的兩個成果，一個是圖靈機，一個是馮·諾依曼機，這是整個電腦最重要的兩個成果。可能沒有之三了，就是這兩個。

它們都有很明顯的特徵，就是非常強調通用性。圖靈機的架構本身就能夠適應各種各樣的問題，用一個簡單的紙帶加上讀寫頭就可以解決各種各樣的問題。馮·諾依曼機更是如此。世界上第一台電腦叫ENIAC，它很笨拙，解決完一個問題後，如果你想用它來解決另外一個問題，還需要吧各種各樣的硬體線路拆下來重新連接；馮·諾依曼就提出了馮·諾依曼機，其核心思想就是存儲程式，不用拆換線路，只要更換程式就可以達到同樣的效果。

對於我們做電腦人來說，重視通用性是一種基因。我們未來如果要發展智慧處理器或者智慧晶片，我們必然會強調通用性。

此外從做研究的角度來看，通用性越好的東西，受到的關注也就越多。

類腦晶片是馮諾依曼結構嗎？

問：在我的理解中，您剛才提到馮諾依曼結構，其實類腦應該是一種非馮結構，它未來能夠實現這種通用性能嗎？

陳雲霽：類腦是不是非馮諾依曼結構，還是存在爭議的。馮諾依曼結構的核心思想在於存儲程式，在於我們換一個任務去做並不需要重新去把硬體給拆下來。類腦計算也希望存儲程式，也希望有比較強的靈活性。它到底會不會是馮諾依曼結構呢？我覺得還要一事一議的看，並不是類腦的機器就一定不是馮諾依曼結構。

如果我們仔細去看馮諾依曼報告，可能很多人沒有看過，我自己是有一天熬夜的時候很無聊，就把馮諾依曼1945年寫的那個報告下載下來看的。我一看就很震驚。那個報告十幾章，第一章、第二章是我們過去都知道的馮諾依曼機的介紹，一個馮諾依曼機應該包括存儲器、控制器等東西。

後面十幾章講什麼呢，他在論證整個馮諾依曼機可以用神經元搭出來，還做了很多數據上的論證，控制器可以用神經元搭出來，存儲機可以用神經元搭出來，輸入輸出也可以用神經元搭出來，然後最後的結論就是整個馮諾依曼其實都可以用神經元搭出來。

所以從這個角度上來說，我不知道馮諾依曼心目中的馮諾依曼機跟我們大家心目中的馮諾依曼機是不是一個概念。但是如果我們指的是馮諾依曼自己說的馮諾依曼機，我覺得至少很多類腦晶片不一定就跳出他的範疇。

大家可能並不一定會看最原始的文件，看了第五手、第六手資料，可能理解和原作者就會有所偏差。但是我覺得馮諾依曼的理解，對於馮諾依曼機的理解應該跟絕大部分的人想像的會不太一樣。