如何在統一架構的同時高效處理各種稀疏度人工神經網路矩陣？清華大學Sticker給你答案

• 2019 年 10 月 4 日
• 筆記

機器之心發布

機器之心編輯部

物聯網與人工智慧結合的發展趨勢，對神經網路加速晶片的能效有了更高的要求。由於剪枝和 RELU 等操作，神經網路的權重和激活矩陣中存在廣泛的稀疏性分布，且不同網路和同一網路不同層的稀疏度各不相同，其稀疏度分布範圍高達 4-90%。由於不同稀疏度矩陣運算對於計算和存儲電路要求各不相同，提出一種統一架構同時高效處理各種稀疏度的人工神經網路矩陣，是人工智慧晶片設計領域的一大難題。

由清華大學電子工程系劉勇攀教授團隊提出的 Sticker 系列人工智慧處理器系統性探索了在晶片架構層次利用網路稀疏性和低位寬表示以提升晶片推理能效的可能性。團隊遵循「非規則化稀疏-規則化稀疏-稀疏量化協同」的技術路線，自 2018 年相繼發布了 Sticker-I、Sticker-T 等晶片，在晶片推理和片上訓練操作的能效上實現了極大突破。

其中，Sticker-I 神經網路加速器晶片針對神經網路中稀疏度分布範圍廣 (4%-90%)、不同稀疏度矩陣運算對計算和存儲電路要求不同的問題，用統一的晶片架構高效支援了不同稀疏度的神經網路運算。該工作通過動態配置人工智慧晶片的運算和存儲電路，實現了對不同稀疏度神經網路的自適應處理，大幅提升了人工智慧加速晶片的能量效率，是首款全面支援不同稀疏程度網路，且同時支援片上網路參數微調的神經網路加速晶片。Sticker-I 晶片在 65nm 製程下，取得 62.1TOPS/W 的峰值核心操作計算能效，並發表在 2018 年國際超大規模積體電路峰會 (Symposia of VLSI Technology and Circuits)。

Sticker-I 晶片照片

STICKER-I 神經網路加速器硬體架構

Sticker-T 的通用架構可以同時高效支援包括 CNN，RNN 和 FC 在內的主流網路結構，滿足了不同應用場景的需求，入選了 2019 年初在美國舊金山舉辦的 ISSCC 2019 大會，是中國大陸首篇發表的人工智慧晶片 ISSCC 論文。

進一步，該團隊針對具有規則化稀疏特點的神經網路，利用演算法-架構-電路的聯合優化，提出了基於組循環變換域的通用神經網路計算晶片 STICKER-T。通過設計高效 FFT 處理器架構、高數據復用計算陣列架構和高性能存儲電路技術，Sticker-T 在能效和面積兩個方面都有著顯著的提升。該晶片可以同時高效支援包括 CNN，RNN 和 FC 在內的主流網路結構，峰值能效 140TOPS/W 為之前工作的 2.7 倍，而 7.5mm^2 的面積僅為前者的 60%，滿足了不同應用場景的需求。該工作入選了年初在美國舊金山舉辦的 ISSCC 2019 大會，也是中國大陸首篇發表的人工智慧晶片 ISSCC 論文。

Sticker-T 晶片照片

與此同時，在 ISSCC 2019 Student Research Preview 會場上，該團隊的袁哲博士代表團隊展示了在稀疏神經網路加速領域的最新成果 Sticker-II 晶片。該晶片首次將自適應稀疏和量化進行有機結合的人工智慧晶片。受益於神經網路稀疏性與低比特量化技術的結合，該晶片相比於上一代 STICKER-I 晶片實現了更高的能量效率。

袁哲博士在 ISSCC2019 展示現場

Sticker 系列人工智慧晶片基於演算法-架構-電路的聯合創新，對神經網路中的非規則化稀疏性、規則化稀疏性和低位寬表示提供了高效支援，其相關成果發表在 ISSCC/VLSI/JSSC 上，受到了學術界和產業界的廣泛關注。在 7 月 29 日-7 月 31 日於瑞士洛桑舉行的 ISLPED』19（ACM/IEEE International Symposium on Low Power Electronics and Design, ISLPED 2019）低功耗電子與設計國際研討會上，Sticker 系列人工智慧晶片獲得了技術委員會的高度認可，並榮獲設計競賽第一名。

湃方科技獲得 ISLPED 19 設計競賽一等獎

Sticker 系列人工智慧晶片從計算 MAC、運算單元以及陣列化三個維度全方位提高晶片的計算能效和靈活性，該晶片的應用市場極其廣闊，覆蓋了智慧工業、智慧城市、智慧製造等領域。基於其科研成果成立的人工智慧公司湃方科技全力打造了以人工智慧晶片和工業智慧演算法為核心技術，以賦能中國產業智慧化升級為願景，以為客戶提供跨品類、全棧式設備智慧管理解決方案為使命的企業戰略布局，致力於成為業界領先的設備智慧化管理服務提供商，加速人工智慧相關技術在各個社會領域的應用，持續打造中國製造「智慧+」。

本文為機器之心發布，轉載請聯繫本公眾號獲得授權。