重磅！業界首個雲原生批量計算項目Volcano正式晉級為CNCF孵化項目
摘要：4月7日，雲原生計算基金會（CNCF）宣布，由華為雲捐獻的業界首個雲原生批量計算項目Volcano正式晉級為CNCF孵化項目。
4月7日，雲原生計算基金會（CNCF）宣布，由華為雲捐獻的業界首個雲原生批量計算項目Volcano正式晉級為CNCF孵化項目。這意味著Volcano的技術生態受到業界廣泛認可，CNCF雲原生技術版圖對於批量計算的支援也已趨於成熟。
華為雲CTO張宇昕表示：「華為雲一直致力於雲原生技術、產業和生態的建設，Volcano融入了華為雲在雲原生、AI、大數據、HPC等領域中沉積的行業和技術經驗，促進雲原生技術與企業數據資產高效融合、充分釋放數據紅利，加速企業數字化、智慧化進程。」
CNCF首席技術官Chris Aniszczyk也表示：「對於複雜的Kubernetes工作負載，尤其是AI、大數據等領域，批處理可以大大簡化部署。以雲原生的方式來精簡大批量數據的處理是非常新穎和有價值的實踐，Volcano使得Kubernetes能夠成為世界級的工具，助力科學研究、高性能計算等行業的發展。」
Volcano項目於2019年6月開源，2020年4月正式成為CNCF沙箱項目。Volcano自2020年進入CNCF以來，在人工智慧、大數據、基因測序等海量數據計算和分析場景得到快速應用，並構建起完善的上下游生態，目前騰訊、愛奇藝、小紅書、蘑菇街、唯品會、鵬城實驗室、銳天投資等企業均已將Volcano應用於生產環境。
自加入CNCF以來，Volcano社區已吸引2.6萬全球開發者、並獲得2.3k Star和530+ Fork。Google、Facebook、Amazon、Red Hat、華為、百度、騰訊、建信金融科技等科技巨頭紛紛加入Volcano社區貢獻，海內外生產落地用戶廣泛分布於互聯網、先進位造、金融、生命科學、科研等行業。Volcano也因其創新的技術理念、活躍的社區生態獲得第二屆「中國優秀開源項目」和 「2021年OSCAR尖峰開源社區及開源項目獎」，其作業管理能力被寫入由中國資訊通訊研究院牽頭制定的《高性能計算(HPC)雲平台標準》，成為行業標準。
過去兩年，Volcano全球生態發展迅速，一批行業標杆用戶不僅積極地推動Volcano落地生產環境，也基於自身實踐反哺社區，實現雙贏。
小紅書技術部負責人張雷表示：「雲原生批量計算項目Volcano應用於小紅書大規模機器學習平台、大數據平台等生產系統，支撐著搜索、推薦、廣告、內容審核等多項關鍵業務，Volcano大大簡化和加速了大數據以及AI應用在雲原生環境的落地進程，小紅書業務系統藉助Volcano提供的豐富功能和優越性能，實現了資源成本的降低和作業性能的提升，期待Volcano在雲原生領域持續深耕，發揮更大價值。」
中科類腦研發總監常峰提出：「Volcano是最早針對批量計算場景開源的雲原生項目之一，其動態可配的高級調度策略和優秀的資源管理能力解決了AI場景下作業調度、生命周期管理、異構硬體支援等多個問題。在落地實踐的過程中，我們基於Volcano的能力做擴展，有效提升了系統穩定性和資源利用效率。期待加入CNCF後，在社區的加持下Volcano能持續孕育出更多優秀的解決方案和最佳實踐。」
截止目前，Volcano社區共發布21個版本，最新版本為v1.5.1。2022年，社區將會進一步擴大技術版圖，聚焦以下能力建設：
- 跨雲跨集群調度：跨集群一直是分布調度系統解決大規模、災備等問題的主要解決方案。同時，為了降低廠商綁定的風險，並最大限度兼顧不同雲廠商的優勢，多雲環境下的負載高效分發逐漸成為趨勢。Volcano將會通過多個項目構建分層調度體系，基於全局資源視圖，提供多樣化策略如成本優先、效率優先等，為作業發放提供最佳決策。
- 在離線作業混部：針對業界普遍存在的數據中心集群資源率低下的問題，Volcano將圍繞業務感知、在離線統一調度、資源超賣、資源隔離與搶佔、動態調度等能力的構建，在保證業務穩定性的前提下實現降本增效。
- 彈性調度：針對彈性訓練、競價實例的場景，Volcano將會增強基於min，max的調度能力、作業感知、資源搶佔能力，實現資源利用最大化。
- GPU虛擬化：推理場景以及GPU開發的場景，GPU使用率普遍偏低，Volcano已實現多容器共享使用GPU，未來將進一步增強算力、顯示記憶體的隔離能力，保障在提升利用率的同時，降低業務間的干擾。
- 細粒度資源管理：Volcano目前通過Queue提供資源的高效復用，針對更複雜的場景，Volcano將會通過Hierarchy Queue,、Policy per Queue、Plugin per Queue等機制提供更細粒度的管理和共享。
- 工作流管理：工作量的編排使用越來越廣泛，Volcano將基於子項目JobFlow，構建多場景、輕量化、高性能的編排能力。
- 基於真實負載的動態調度與重調度：針對當前基於資源申請進行的負載調度、資源碎片化引入的節點使用率不均衡的問題，Volcano將結合監控能力構建基於真實負載的動態調度和重調度。
華為雲一直是雲原生新技術的探路者、產業新格局的開拓者，2015年華為作為唯一亞洲企業參與雲原生計算基金會（CNCF）創建，並一直是CNCF核心項目的主要貢獻者，程式碼貢獻穩居亞洲第一。除Volcano項目外，華為雲還捐獻了首個智慧邊緣計算項目KubeEdge、首個多雲容器編排項目Karmada，完善了CNCF的技術生態；同時，華為雲還擁有服務網格頂級開源社區Istio在亞洲的首個指導委員會席位。
為進一步推動雲原生技術在各行業的落地、構建產業融合新格局，華為雲聯合中國信通院先後發布了《雲原生2.0白皮書》、《數字政府雲原生基礎設施白皮書》為企業落地雲原生提供體系化的理論參考，並與CNCF、中國信通院聯合成立了全球雲原生交流平台——創原會，為全球企業提供共享、共創、共贏的雲原生交流平台，已服務於500+企業的技術管理者。未來，華為雲將持續與廣大客戶一起共建雲原生產業生態圈，做深耕數字化的先行者。
