有一種改變未來架構演化方向的技術,叫Kubernetes

  • 2019 年 12 月 9 日
  • 筆記

據信通院《中國雲計算開源發展調查報告(2019年)》,超過七成的企業已經使用容器技術或正在測試應用環境,36.4%的企業已經使用了容器技術,雲原生落地已經進入企業核心地帶,成為企業突破轉型瓶頸的重要路徑。

2019年,是雲原生理念和實踐被廣泛認可和傳播的關鍵一年,作為未來雲端及架構演進的新方向,在過去幾年間,以 Kubernetes 為核心的「雲原生」運動正不斷擴大化,並且已經被業內廣泛認同為雲計算的未來趨勢,Kubernetes 和雲原生新架構正在成為下一代軟件架構的新標準。

尤其是Kubernetes,從2015年7月21日正式發佈至今,雖然只有4年時間,卻以風捲殘雲之勢影響着全球的開發領域,其影響力實實在在的擺在了開發者的面前。「Kubernetes 可以編排一切」這句話一點都不誇張,Spark、TensorFlow、函數、容器、虛擬機等等,都可以用 Kubernetes 實現功能編排。

此外,Kubernetes 不僅關注應用的運行,還關注應用的打包與分發,使得應用程序可以在不同雲平台之間自由遷移,它開創了全新的應用程序可移植平面,成為大家共同的選擇。現在做應用的全流程生命周期管理,已經完全離不開 Kubernetes,其已經成為開發者必須學習和掌握的容器編排平台。當然,今年Kubernetes 最大的成就不只是在上述這些方面,能夠引發 Kubernetes 如此大範圍的落地與應用,其在邊緣計算領域的突破也是 Kubernetes 今年得以大規模落地的重要原因之一。

一、KubeEdge:擴展Kubernetes邊緣計算的應用廣度

同樣是在2019年,隨着5G和IoT領域的發展,越來越多的場景和設備開始接入到雲端,隨着越來越多邊緣設備所產生的數據大量湧入雲端,現有的一些體系和架構已經在面對如此體諒的數據時已經顯露出了疲態。既然Kubernetes已經在現有的眾多場景下得到了驗證,那麼能否將Kubernetes融入到邊緣計算的場景中?

首先理解什麼是邊緣計算,邊緣計算(Edge computing)是一種在物理上靠近數據源頭的網絡邊緣側,融合網絡、計算、存儲、應用核心能力的開放平台,就近提供邊緣智能服務的計算模式。今年3月份,華為雲將 KubeEdge 捐獻給了CNCF,作為全球首個基於 Kubernetes 擴展的、能夠提供邊雲協同能力的開放式邊緣計算平台,依託 Kubernetes 的容器編排和調度能力,通過一致且可伸縮的基於 Kubernetes 的接口,能夠實現雲邊協同、計算下沉、海量設備接入等,將 Kubernetes 的優勢和雲原生應用管理標準從雲端延伸到邊緣場景下,為 KubeEdge 實現支持邊緣集群的編排和管理提供技術支撐,從而快速高效地將雲計算能力推向邊緣。

二、Volcano:深挖雲原生批量計算能力的深度

現在的雲計算,早已不是單一雲體系的平台,多雲、混合雲、邊緣雲的架構正在越來越普遍,雲計算也呈現出邊緣、多雲、智能、異構的雲原生髮展趨勢。繼開源智能邊緣框架技術 KubeEdge 後,華為又正式開源了Volcano雲原生批量計算平台。

要知道,不只是場景和能力編排,算力也是邊緣計算中非常重要一部分。Volcano 源自於華為雲AI容器,是基於 Kubernetes 的批處理系統,可以快速接入 AI、大數據、基因、渲染等諸多行業通用計算框架並提供高性能的任務調度引擎、高性能異構芯片管理以及高性能任務運行管理等功能。

此外,Volcano 為 Kubernetes 額外提供了一整套目前 Kubernetes 在批量處理和彈性工作負載處理中缺失的機制,同時針對現有的機制進行了優化,比如生物信息學、基因組學、對於作業管理的擴展和改進、調度形式的擴展、運行擴展以及優化數據吞吐量等。

目前,Volcano 已經於百度深度學習平台飛漿 PaddlePaddle 展開了深度合作,進一步刺激深度學習平台的數據計算潛力。在12月7日 DevRun Summit Login 2020 的現場,百度 PaddlePaddle 的技術專家也將現場解讀,PaddlePaddle 與 Volcano 的深度實踐。