在申请谷歌奖研金的proposal(Efficient Hardware/Software Co-Design Methods to Unleash Full AI Capabilities for Mobile Devices)中,张晓帆明确地提出了自己的研究目标:使用高能效软硬件协同设计的解决方案,使AI算法与硬件加速器完美结合,提高移动设备的AI应用能力。在确保移动端能高效运行AI应用的同时,该研究也要保证使用数据的安全性。因此,他期待能够与来自计算机体系结构、隐私与安全及其他AI领域的研究员合作。除了张晓帆之外,UIUC曾入选谷歌博士生奖研金的大陆学子还包括:王宏宁,2012年入选,本科与硕士就读于清华大学计算机系,现为弗吉尼亚大学助理教授;任翔,2016年入选,本科就读于浙江大学计算机系,现为南加州大学助理教授;商静波,2017年入选,本科就读于上海交通大学ACM班,现为加利福尼亚大学圣迭戈分校助理教授。 2
此外,他认为充满不确定性的研究过程是非常磨炼一个人的心性的:“你必须沉下心来,去剖析你正在研究的问题,慢慢去发掘有哪些地方是可以被进一步改进的。”一番挣扎、焦虑、自我怀疑过后,熬过第一年,第二年的焦虑感会减少许多:一是已经习惯这种高强度的学习状态,二是工作渐渐取得了成果,也开始变得有信心。张晓帆强调坚持的意义:“如果你能找到工作的意义,你并不会有太多心思去想那些让你焦虑的事。”如今步入博士五年级,张晓帆回想过去几年的学习经历,总结自己每天绝大部分的时间都是在做和科研密切相关的事情:1)和导师、同学讨论想法,2)设计实验,3)分析结果,(要是结果糟糕就要回到第一步),4)撰写paper等,(要是投稿被拒也要回到第一步),如此周期循环。此外,博士生很难有规律的作息时间,DDL前几天熬夜是难免的。 不过,张晓帆还是乐观地说:“但我们ECE领域也有一个好处,就是远程工作比较方便,不一定非要呆在实验室,换个地方还是能接着工作。”科研之路漫长且艰难,光有信仰是不够的,还要有鲜花。后来,在导师、同窗与个人的努力下,张晓帆从2018年开始高频发表顶会与期刊论文。直到今天,张晓帆总共发表了30篇论文,其中一作与共同一作共13篇。因学业成绩优异,他在2020年还获得了ECE以表彰优秀国际学生设立的奖学金Sundaram Seshu International Student Fellowship。4
论文高产的背后
张晓帆开始对AI产生兴趣,是在UIUC读博之后。在本科期间,他研究的是对单个核心模块作数字逻辑设计与优化,研究生阶段,他的研究从模块设计上升到系统级别设计,研究的是片上多核系统。后来,他在博士期间接触到的第一个项目,是搭建一个用于描述输入图片的深度神经网络硬件加速系统,他也因此开始接触AI与深度神经网络。张晓帆谈到:“虽然本硕期间学习的多是通信专业课程,比如通信系统、信号处理与计算机组成原理等等,但这些课程的基础知识其实与之后的AI研究有一些共通之处。”读博之后,张晓帆一直致力于AI应用相关的研究。在2018年,AI科技评论公众号就报道了张晓帆的一项发表于CVPR的工作。他与来自北京邮电大学的科研人员一同提出一种适用于密集人群计数的空洞卷积神经网络模型 CSRNet。该网络模型摆脱以往广泛应用于人群计数的多通道卷积网络方案,在大幅削减网络参数量和网络训练难度的同时,显著提升了人群计数的精度和人群分布密度图的还原度。这项研究有利于避免公共场合中因人群拥挤而产生的踩踏事件。此外,得益于简单、规整的网络结构,CSRNet 对硬件实现更加友好,可以被高效地部署在物联网设备中。人群计数场景如今,他将研究重点转向AI与系统、硬件的结合。他提到,目前AI应用对计算资源与存储的需求极大,但移动设备的资源与功耗预算极其稀缺。比方说,如果使用电池,许多设备就不能使用性能比较高的处理器。张晓帆的解决方法是:使用AI算法与硬件加速器协同设计,为不同的移动应用场景设计最合适的解决方案,而不是简单地对算法或者硬件做单方面的优化。这样的话,资源稀缺的移动设备,比如手机,摄像头,无人机等,也能运行高质量的AI应用。他在这方面最新的研究成果是SkyNet,为低功耗嵌入式设备提供了高质量的物体识别与物体跟踪解决方案。这项成果发表在今年的AI与系统会议Conference on Machine Learning and Systems (MLSys)。张晓帆在这方面的研究成果已经发表在多个顶级会议上。其中,DNNBuilder(一种先进的深度神经网络加速器自动化生成工具)获得了2018年国际计算机辅助设计会议(ICCAD)颁发的 William J. McCalla最佳论文奖;SkyNet及其加速器设计在来自全球 110 支参赛队伍中脱颖而出,赢得由国际设计自动化会议(DAC)主办的低功耗目标识别系统设计大赛FPGA与GPU组别双冠军。
图注:DAC 2019 大会正、副主席为 UIUC 团队颁发低功耗目标检测系统设计挑战赛冠军奖状(左起为大会主席 Robert Aitken、博后研究员郝聪、博士生张晓帆、 陈德铭教授、C3SR 负责人熊瑾珺及胡文美教授和大会副主席李卓)他的主要研究课题还包括了AI加速器及相关自动化工具的设计。他希望通过更高效的AI加速器和更全面的自动化工具,加速AI从算法设计到最终硬件部署的时间,以满足不断快速发展的AI应用的需求。张晓帆在今年的两个EDA领域顶级会议合共有4篇论文被收录。其中发表在DAC的论文《Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions》提出一种可微的深度神经网络与加速器联合搜索框架,为嵌入式设备提供更高效的AI解决方案。此外,另一篇发表于ICCAD的论文《DNNExplorer: A Framework for Modeling and Exploring a Novel Paradigm of FPGA-based DNN Accelerator》则探索了一种可用于FPGA的新型加速器结构范式,能进一步提高硬件加速器的资源利用效率和扩展性。他将自己取得目前学术成果的原因归纳为以下四点:1、导师的榜样力量张晓帆直言对研究生与博士导师的崇拜:“他们有一些共同点,就是对工作的要求非常高,要求非常严格,耳濡目染之下也会变得对一些细节很固执。”比方说,张晓帆提到被陈德铭教授“逮到办公室里一字一句修改论文”的情景:
图注:2018年ICCAD最佳论文合作作者合影(左到右)熊瑾珺教授,陈德铭教授,张晓帆,胡文美教授,王均松(IBM高级研究员),林咏华(IBM杰出工程师,时任IBM中国研究院院长)2、C3SR的工作经历C3SR(IBM-ILLINOIS Center for Cognitive Computing Systems Research)是UIUC与IBM合作成立的研究中心。在获得谷歌奖研金之前,该中心为张晓帆提供了他的大部分研究经费与实验设备。作为学界与业界共同建设的研究中心,C3SR聚集了来自学校与IBM的权威专家。张晓帆在中心一起共事的导师,除了陈德铭教授,还有另一位来自ECE的胡文美教授(计算机体系结构、编译技术、并行处理领域著名学者,IEEE/ACM Fellow),以及来自IBM的资深研究员、ECE兼职研究教授熊瑾珺。据张晓帆介绍,C3SR每周都会有一个例会:“每一次例会就是学界与业界的思想碰撞。与业界的专家接触,能讨论出不少新想法。”3、实验室的团队科研氛围张晓帆认为自己非常幸运,在研究生与博士阶段都遇到了非常好的团队成员。“同窗之间交流地愉快,心态调整也会快,科研也会快乐。”图注:2019年,张晓帆(后排左四)与C3SR师生参与由MIT-IBM Watson AI Lab举办的AI Research Week学术交流活动。4、自我的修炼张晓帆将个人的因素排在最后一位。“一直在这个领域深耕,比较容易出成果。”他认为,自信、乐观与坚持是读博的“三大法宝”。只有具备了这三大法宝,才能在读博的过程中扛过一次又一次的打击,不断被打倒、又不断站起来。此外,读博大多需时至少五年。对任何人来说,五年都是一段非常宝贵的时光。一旦决定读博,便要克服一切困难,咬牙坚持下去。“可以不断用一些阶段性的成果来激励自己。”与本硕学习有所差别的是:博士生要独立做研究,自己决定自己的研究方向。“一开始是导师帮忙选择适合的研究方向,因为对行业不了解,所以由导师分配能胜任的工作。之后看的文章多了,就能感觉到行业要往哪里发展,或是小的领域要在哪里突破,摸索到自己的研究方向后,跟导师商量,给出自己的理由,导师同意后就可以开始投入研究。”至于如何获取新知识、判断行业的研究动态,张晓帆的主要学习渠道有:1、读文章,关注自己领域的几个重要会议与期刊,偶尔刷arXiv上发表的新论文;2、关注UIUC举办的一些学术讲座与其他云学术会议。3、关注一些科技公众号,比如AI科技评论。 4