在申請Google獎研金的proposal(Efficient Hardware/Software Co-Design Methods to Unleash Full AI Capabilities for Mobile Devices)中,張曉帆明確地提出了自己的研究目標:使用高能效軟硬體協同設計的解決方案,使AI演算法與硬體加速器完美結合,提高移動設備的AI應用能力。在確保移動端能高效運行AI應用的同時,該研究也要保證使用數據的安全性。因此,他期待能夠與來自電腦體系結構、隱私與安全及其他AI領域的研究員合作。除了張曉帆之外,UIUC曾入選Google博士生獎研金的大陸學子還包括:王宏寧,2012年入選,本科與碩士就讀於清華大學電腦系,現為弗吉尼亞大學助理教授;任翔,2016年入選,本科就讀於浙江大學電腦系,現為南加州大學助理教授;商靜波,2017年入選,本科就讀於上海交通大學ACM班,現為加利福尼亞大學聖迭戈分校助理教授。 2
此外,他認為充滿不確定性的研究過程是非常磨鍊一個人的心性的:「你必須沉下心來,去剖析你正在研究的問題,慢慢去發掘有哪些地方是可以被進一步改進的。」一番掙扎、焦慮、自我懷疑過後,熬過第一年,第二年的焦慮感會減少許多:一是已經習慣這種高強度的學習狀態,二是工作漸漸取得了成果,也開始變得有信心。張曉帆強調堅持的意義:「如果你能找到工作的意義,你並不會有太多心思去想那些讓你焦慮的事。」如今步入博士五年級,張曉帆回想過去幾年的學習經歷,總結自己每天絕大部分的時間都是在做和科研密切相關的事情:1)和導師、同學討論想法,2)設計實驗,3)分析結果,(要是結果糟糕就要回到第一步),4)撰寫paper等,(要是投稿被拒也要回到第一步),如此周期循環。此外,博士生很難有規律的作息時間,DDL前幾天熬夜是難免的。 不過,張曉帆還是樂觀地說:「但我們ECE領域也有一個好處,就是遠程工作比較方便,不一定非要呆在實驗室,換個地方還是能接著工作。」科研之路漫長且艱難,光有信仰是不夠的,還要有鮮花。後來,在導師、同窗與個人的努力下,張曉帆從2018年開始高頻發表高峰會與期刊論文。直到今天,張曉帆總共發表了30篇論文,其中一作與共同一作共13篇。因學業成績優異,他在2020年還獲得了ECE以表彰優秀國際學生設立的獎學金Sundaram Seshu International Student Fellowship。4
論文高產的背後
張曉帆開始對AI產生興趣,是在UIUC讀博之後。在本科期間,他研究的是對單個核心模組作數字邏輯設計與優化,研究生階段,他的研究從模組設計上升到系統級別設計,研究的是片上多核系統。後來,他在博士期間接觸到的第一個項目,是搭建一個用於描述輸入圖片的深度神經網路硬體加速系統,他也因此開始接觸AI與深度神經網路。張曉帆談到:「雖然本碩期間學習的多是通訊專業課程,比如通訊系統、訊號處理與電腦組成原理等等,但這些課程的基礎知識其實與之後的AI研究有一些共通之處。」讀博之後,張曉帆一直致力於AI應用相關的研究。在2018年,AI科技評論公眾號就報道了張曉帆的一項發表於CVPR的工作。他與來自北京郵電大學的科研人員一同提出一種適用於密集人群計數的空洞卷積神經網路模型 CSRNet。該網路模型擺脫以往廣泛應用於人群計數的多通道卷積網路方案,在大幅削減網路參數量和網路訓練難度的同時,顯著提升了人群計數的精度和人群分布密度圖的還原度。這項研究有利於避免公共場合中因人群擁擠而產生的踩踏事件。此外,得益於簡單、規整的網路結構,CSRNet 對硬體實現更加友好,可以被高效地部署在物聯網設備中。人群計數場景如今,他將研究重點轉向AI與系統、硬體的結合。他提到,目前AI應用對計算資源與存儲的需求極大,但移動設備的資源與功耗預算極其稀缺。比方說,如果使用電池,許多設備就不能使用性能比較高的處理器。張曉帆的解決方法是:使用AI演算法與硬體加速器協同設計,為不同的移動應用場景設計最合適的解決方案,而不是簡單地對演算法或者硬體做單方面的優化。這樣的話,資源稀缺的移動設備,比如手機,攝影機,無人機等,也能運行高品質的AI應用。他在這方面最新的研究成果是SkyNet,為低功耗嵌入式設備提供了高品質的物體識別與物體跟蹤解決方案。這項成果發表在今年的AI與系統會議Conference on Machine Learning and Systems (MLSys)。張曉帆在這方面的研究成果已經發表在多個頂級會議上。其中,DNNBuilder(一種先進的深度神經網路加速器自動化生成工具)獲得了2018年國際電腦輔助設計會議(ICCAD)頒發的 William J. McCalla最佳論文獎;SkyNet及其加速器設計在來自全球 110 支參賽隊伍中脫穎而出,贏得由國際設計自動化會議(DAC)主辦的低功耗目標識別系統設計大賽FPGA與GPU組別雙冠軍。圖註:DAC 2019 大會正、副主席為 UIUC 團隊頒發低功耗目標檢測系統設計挑戰賽冠軍獎狀(左起為大會主席 Robert Aitken、博後研究員郝聰、博士生張曉帆、 陳德銘教授、C3SR 負責人熊瑾珺及胡文美教授和大會副主席李卓)他的主要研究課題還包括了AI加速器及相關自動化工具的設計。他希望通過更高效的AI加速器和更全面的自動化工具,加速AI從演算法設計到最終硬體部署的時間,以滿足不斷快速發展的AI應用的需求。張曉帆在今年的兩個EDA領域頂級會議合共有4篇論文被收錄。其中發表在DAC的論文《Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions》提出一種可微的深度神經網路與加速器聯合搜索框架,為嵌入式設備提供更高效的AI解決方案。此外,另一篇發表於ICCAD的論文《DNNExplorer: A Framework for Modeling and Exploring a Novel Paradigm of FPGA-based DNN Accelerator》則探索了一種可用於FPGA的新型加速器結構範式,能進一步提高硬體加速器的資源利用效率和擴展性。他將自己取得目前學術成果的原因歸納為以下四點:1、導師的榜樣力量張曉帆直言對研究生與博士導師的崇拜:「他們有一些共同點,就是對工作的要求非常高,要求非常嚴格,耳濡目染之下也會變得對一些細節很固執。」比方說,張曉帆提到被陳德銘教授「逮到辦公室里一字一句修改論文」的情景:
張曉帆也十分理解導師的意圖:「教授是過來人,又看了那麼多論文,他肯定知道一篇好的論文應該達到怎樣的標準。」此外,導師給予的指導性意見也非常多。他們的實驗室一周開一次例會。除了周例會以外,還有項目與子項目的例會,頻繁時每周會與導師聊三回。圖註:2018年ICCAD最佳論文合作作者合影(左到右)熊瑾珺教授,陳德銘教授,張曉帆,胡文美教授,王均松(IBM高級研究員),林詠華(IBM傑出工程師,時任IBM中國研究院院長)2、C3SR的工作經歷C3SR(IBM-ILLINOIS Center for Cognitive Computing Systems Research)是UIUC與IBM合作成立的研究中心。在獲得Google獎研金之前,該中心為張曉帆提供了他的大部分研究經費與實驗設備。作為學界與業界共同建設的研究中心,C3SR聚集了來自學校與IBM的權威專家。張曉帆在中心一起共事的導師,除了陳德銘教授,還有另一位來自ECE的胡文美教授(電腦體系結構、編譯技術、並行處理領域著名學者,IEEE/ACM Fellow),以及來自IBM的資深研究員、ECE兼職研究教授熊瑾珺。據張曉帆介紹,C3SR每周都會有一個例會:「每一次例會就是學界與業界的思想碰撞。與業界的專家接觸,能討論出不少新想法。」3、實驗室的團隊科研氛圍張曉帆認為自己非常幸運,在研究生與博士階段都遇到了非常好的團隊成員。「同窗之間交流地愉快,心態調整也會快,科研也會快樂。」圖註:2019年,張曉帆(後排左四)與C3SR師生參與由MIT-IBM Watson AI Lab舉辦的AI Research Week學術交流活動。4、自我的修鍊張曉帆將個人的因素排在最後一位。「一直在這個領域深耕,比較容易出成果。」他認為,自信、樂觀與堅持是讀博的「三大法寶」。只有具備了這三大法寶,才能在讀博的過程中扛過一次又一次的打擊,不斷被打倒、又不斷站起來。此外,讀博大多需時至少五年。對任何人來說,五年都是一段非常寶貴的時光。一旦決定讀博,便要克服一切困難,咬牙堅持下去。「可以不斷用一些階段性的成果來激勵自己。」與本碩學習有所差別的是:博士生要獨立做研究,自己決定自己的研究方向。「一開始是導師幫忙選擇適合的研究方向,因為對行業不了解,所以由導師分配能勝任的工作。之後看的文章多了,就能感覺到行業要往哪裡發展,或是小的領域要在哪裡突破,摸索到自己的研究方向後,跟導師商量,給出自己的理由,導師同意後就可以開始投入研究。」至於如何獲取新知識、判斷行業的研究動態,張曉帆的主要學習渠道有:1、讀文章,關注自己領域的幾個重要會議與期刊,偶爾刷arXiv上發表的新論文;2、關注UIUC舉辦的一些學術講座與其他雲學術會議。3、關注一些科技公眾號,比如AI科技評論。 4