智慧邊緣計算：計算模式的再次輪迴
- 2019 年 10 月 31 日
- 筆記
編者按：人工智慧的蓬勃發展離不開雲計算所帶來的強大算力，然而隨著物聯網以及硬體的快速發展，邊緣計算正受到越來越多的關注。未來，智慧邊緣計算將與智慧雲計算互為補充，創造一個嶄新的智慧新世界。本文中，微軟亞洲研究院系統與網路研究組首席研究員劉雲新將為大家介紹智慧邊緣計算的發展與最新研究方向。
智慧邊緣計算的興起
近年來，邊緣計算（Edge Computing）在學術界和工業界都成為了一個熱門話題。事實上，邊緣計算是相對於雲計算（Cloud Computing）而言的。在雲計算中，所有的計算和存儲資源都集中在雲上，也就是數據中心（Datacenter）里；在終端設備上產生的數據通過網路傳輸到雲上，計算任務和數據處理都在雲上進行。而在邊緣計算中，計算和存儲資源被部署到邊緣上（邊緣伺服器或者終端設備），可以就近對本地的數據進行處理，無需把數據傳輸到遠端的雲上，從而避免網路傳輸帶來的延遲。
雖然邊緣計算成為廣受關注的熱門話題的時間並不久，但邊緣計算的概念並不新。早在2008年，微軟研究院的 Victor Bahl 博士邀請了學術界和工業界的知名學者，包括卡內基·梅隆大學的 Mahadev Satyanarayanan 教授、AT&T 實驗室的 Ramón Cáceres博士、蘭卡斯特大學（Lancaster University, U.K.）的Nigel Davies教授、英特爾研究院（Intel Research）的 Roy Want 博士等，一起探討雲計算的未來時 [1]，就提出了基於 Cloudlet 的邊緣計算的概念；並於次年在 IEEE Pervasive Computing 期刊上發表了廣為人知的名為 「The Case for VM-based Cloudlets in Mobile Computing」的文章 [2]。
此後，越來越多的研究人員開始關注邊緣計算。值得一提的是，2016年，首屆專註於邊緣計算的學術會議 The First IEEE/ACM Symposium on Edge Computing 在美國華盛頓特區召開 [3]。目前，邊緣計算已成為相關頂級學術會議（比如MobiCom）的重要專題之一。在工業界，2017年微軟公司 CEO 薩提亞·納德拉就將邊緣計算和雲計算並列成為全公司的戰略之一。之後，各大雲計算公司和運營商都紛紛推出了自己的邊緣計算服務；邊緣計算相關的創業公司更是不斷湧現。
在人工智慧時代，邊緣計算不僅僅只是計算，更是智慧+計算，我們稱之為智慧邊緣計算（Intelligent Edge Computing）。
計算模式的輪迴：
在集中式和分散式之間的搖擺
唯物辯證法指出，事物的發展總是曲折、循環往複，並在波浪中不斷前進的。計算模式（Computing Paradigm）也不例外。如圖1所示，如果我們回顧計算模式的發展歷史，就會發現一個簡單的規律：計算模式是在集中式計算和分散式計算之間不斷搖擺，往複式發展前進的。
圖1：計算模式的發展歷史
在大型機（Mainframe）時代，計算資源稀缺，很多人共享一台主機，計算是集中式的；到了個人計算（Personal Computing）時代，硬體變得小型化，價格低廉，人們可以擁有自己的個人設備，計算成為了分散式的；在雲計算時代，通過高速網路，人們可以共享雲上的海量的計算和存儲資源，計算模式又回到集中式的。此時，人工智慧蓬勃發展，雲上提供的眾多智慧服務帶來了智慧雲計算。而隨著邊緣計算的出現，計算模式再一次成為分散式的。現在，我們不僅有智慧雲，還有智慧邊緣。
智慧邊緣計算的出現當然不僅僅是滿足表面上的簡單規律，背後有其必然性和強大的驅動力，是電腦軟硬體和新應用新需求不斷發展的必然結果。
首先，隨著物聯網特別是智慧物聯網（AIoT）的發展，各種新型智慧設備不斷湧現，產生了海量的數據。比如，監控攝影機已經無處不在（據統計，在倫敦每14個人就有一個監控攝影機 [4]），每天產生大量的影片數據。而每輛自動駕駛汽車每天更是會產生多達5TB的數據。把所有這些數據都傳輸到雲上進行處理是今天的雲和網路無法承受的。
其次，新的場景和應用需要對數據在本地進行處理。比如，自動駕駛和工業自動化對數據處理的實時性有很高的要求。數據傳輸帶來的網路延遲往往無法滿足實時性的要求，如果網路發生故障可能帶來災難性後果。再如，人們對個人隱私越來越關注，而很多數據（影片、圖片、音頻等）都包含大量的個人隱私。保護個人隱私的最好的方法就是在本地進行數據處理，不把個人數據傳到網路上去。
另外，同樣重要的是，硬體的快速發展使得智慧邊緣計算成為可能。隨著 AI 演算法的日益成熟，人們開始設計製造專用的 AI 晶片，特別是專門用於深度學習模型推理的 AI 晶片，這些 AI 晶片不僅數據處理能力強大，而且尺寸小、功耗低、價格便宜，可以應用到各種邊緣設備上，為智慧邊緣計算提供了堅實的硬體基礎。
需要指出的是，智慧邊緣計算並不是要取代雲計算，而是和雲計算互為補充，一起更好地為用戶提供服務。雲計算和邊緣計算會不斷融合；智慧計算分布在不同的地方，但又相互連接，協同合作。
智慧邊緣計算中的關鍵問題研究
在微軟亞洲研究院，我們致力於研究智慧邊緣計算中的關鍵問題，更好地將 AI 賦能於邊緣設備（包括終端設備和邊緣伺服器）和應用，提高智慧邊緣計算的系統性能和用戶體驗。具體來說，目前我們主要關注以下幾個研究方向：
針對不同設備的模型壓縮和優化。高精度的深度學習模型通常都十分龐大，由數百萬甚至以億計的參數構成。運行這些模型需要耗費大量的計算和記憶體資源。雖然智慧邊緣設備的處理和存儲能力大幅增長，但仍遠遠比不上雲計算設備。因此，如何把深度學習模型在資源受限的邊緣設備上運行起來是一個巨大的挑戰。傳統的模型壓縮和優化（比如剪枝、量化等）主要關注的是在如何把模型變小的同時盡量少損失模型精度。然而，邊緣設備的特點是類型多、差異性大，處理器類型性能和記憶體大小千差萬別。我們認為，沒有一個統一的模型能夠適用於所有的邊緣設備，而是應該結合硬體的特性，為不同的設備提供最適合的模型，不僅考慮模型大小和精度損失，更要考慮模型在設備上的執行性能，比如延遲和功耗等。
基於異構硬體資源的系統優化。即使有了一個可以運行的模型，如何提高模型的運行效率仍是一個值得深入研究的課題。我們需要一個高效的模型推理引擎，把系統性能提高到極致。這不僅需要軟體層面的系統優化，更要有軟體和硬體的協同設計，能夠充分利用底層硬體的能力。邊緣設備往往有著各種異構的硬體資源，比如智慧手機擁有大小不同的 CPU 核（ARM big.Little）、DSP、GPU、甚至 NPU。而現有的系統往往只能利用其中一種計算資源（比如 CPU 或者 GPU），還不能充分發揮硬體的性能。我們的工作致力於研究如何充分利用同一設備上的異構硬體資源，深度優化系統性能，大大降低模型執行的延遲和能耗。
隱私保護和模型安全。如前所述，用戶隱私數據保護是一個重要的課題。在邊緣設備無法運行高精度模型的情況下（比如在低端的監控攝影機上），利用雲計算或者邊緣伺服器來執行深度學習模型就不可避免。在這種情況下，我們就需要研究如何利用遠程的計算資源的同時還能不泄露用戶的隱私數據。另外，在邊緣設備上運行模型還帶來了一個新的問題——模型的安全。訓練一個好的模型需要花費巨大的人力、物力。因此，模型是重要的數字資產。在雲計算模式下，模型的存儲和運行都在雲上，終端用戶無法直接接觸模型數據。而在邊緣計算中，模型是部署到本地設備上的，惡意用戶可以破解終端系統，複製模型數據。所以，如何在智慧邊緣計算中保護模型的安全就是一個新的重要研究課題。
持續學習和合作學習。智慧邊緣計算還帶來了新的改善模型的機會。目前的模型訓練和模型使用通常是割裂的。一個模型在事先收集好的數據集上進行訓練，然後被部署到設備上進行使用。然而，模型使用中的數據通常是和訓練時的數據集不一樣的。比如，每個智慧攝影機由於其位置和光線的不同，它們看到的影像內容和特徵都不盡相同，從而導致模型精度下降。我們認為，模型被部署到設備上以後，應該根據設備上的輸入數據進行適配和優化，而且隨著設備處理越來越多的新數據，它應該從中學習到新的知識，持續不斷地提高它的模型，這就是持續學習（Continuous Learning）。此外，多個設備還應該把它們學習到的不同的新知識合併到起來，一起合作來改進完和善全局的模型，我們稱之為合作學習（Collaborative Learning）。與主要關注如何利用多方數據集進行模型訓練而不相互泄露數據的聯邦學習（Federated Learning）不同，持續學習和合作學習的重點是如何在模型部署後從新獲取的數據中學習新的知識。
此外，我們還關注智慧邊緣計算中的各種新場景和新應用，比如影片分析、VR/AR、自動駕駛、AIoT 等，特別是隨著 5G 的到來，如何構建更好的智慧邊緣+智慧雲的系統，為這些場景和應用提供更好的支撐。
在過去兩年，我們和中國外的高校緊密合作，在這些研究方向上取得了一系列的進展，也在相關學術會議上發表了多篇論文。其中，我們和北京大學和美國普渡大學關於如何利用快取技術（Cache）提高卷積神經網路（CNN）執行效率的工作發表在 MobiCom 2018上 [5]；和哈爾濱工業大學等學校合作的關於如何利用模型稀疏性（Sparsity）加速模型執行的工作發表在 FPGA 2019和 CVPR 2019上 [6] [7]；和韓國 KAIST 等學校合作的關於如何利用 SGX 保護用戶隱私的工作發表在 MobiCom 2019上 [8]；和美國紐約大學和清華大學合作的關於合作學習的工作發表在 SEC 2019上 [9]。
未來展望
智慧邊緣計算之後是什麼？計算模式會沿著既有歷史路線繼續輪迴嗎？未來會是怎樣的？
我們無法準確預測未來，但我們相信世界一定會變得越來越數字化、智慧化，一定會變得更加美好。在微軟看來，整個世界正在成為一台巨大的電腦 [10]。不管你是在家裡、在辦公室、還是在路上，不管是在工廠、在商場、還是在各行各業，藉助分布在各處的強大計算能力，我們可以利用人工智慧處理由無處不在的感測器採集到的數據，創造出豐富多彩的工作和生活體驗。未來的計算一定是以用戶為中心的，智慧環境和設備隨時隨地感知用戶的狀態和需求，將用戶所需的數據和資訊準確推送給用戶，為人們提供更好的服務。
來源：沈向洋博士在2018微軟人工智慧大會上的演講 [10]
參考文獻
[1] V. Bahl, "10 years is an eternity in the tech world, but we are just getting started," 19 10 2018. [Online].
10 years is an eternity in the tech world, but we are just getting started
[2] M. Satyanarayanan, P. Bahl, R. Cáceres and N. Davies, "The Case for VM-Based Cloudlets in Mobile Computing," IEEE Pervasive Computing, vol. 8, no. 4, pp. 14-23, 2009.
[3] "The First IEEE/ACM Symposium on Edge Computing," 27-28 10 2016. [Online].
http://acm-ieee-sec.org/2016/
[4] J. Ratcliffe, "How many CCTV Cameras are there in London 2019?," 29 5 2019. [Online].
[5] M. Xu, M. Zhu, Y. Liu, F. X. Lin and X. Liu, "DeepCache: Principled Cache for Mobile Deep Vision," in Proceedings of the 24th Annual International Conference on Mobile Computing and Networking, 2018.
[6] S. Cao, C. Zhang, Z. Yao, W. Xiao, L. Nie, D. Zhan, Y. Liu, M. Wu and L. Zhang, "Efficient and Effective Sparse LSTM on FPGA with Bank-Balanced Sparsity," in Proceedings of 27th ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, 2019.
[7] S. Cao, L. Ma, W. Xiao, C. Zhang, Y. Liu, L. Zhang, L. Nie and Z. Yang, "SeerNet: Predicting Convolutional Neural Network Feature-Map Sparsity through Low-Bit Quantization," in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019.
[8] T. Lee, Z. Lin, S. Pushp, C. Li, Y. Liu, Y. Lee, F. Xu, C. Xu and L. Zhang, "Occlumency: Privacy-preserving Remote Deep-learning Inference Using SGX," in Proceedings of the 25th Annual International Conference on Mobile Computing and Networking, 2019.
[9] Y. Lu, Y. Shu, X. Tan, Y. Liu, M. Zhou, Q. Chen and D. Pei, "Collaborative Learning between Cloud and End Devices: An Empirical Study on Location Prediction," in Proceedings of the Fourth ACM/IEEE Symposium on Edge Computing, 2019.
[10] 沈向洋, "讓雲計算和人工智慧幫助每一個人," 2018 微軟人工智慧大會. [Online].
https://www.microsoft.com/china/events/ArtificialIntelligence2018.aspx
