未來雲原生世界的「領頭羊」:容器批量計算項目Volcano 1.0版本發佈

在剛剛結束的CLOUD NATIVE+ OPEN SOURCE Virtual Summit China 2020上,由華為云云原生團隊主導的容器批量計算項目Volcano正式發佈1.0版本,標誌着Volcano項目已經開始走向成熟與穩定。

Volcano項目介紹

Volcano是基於Kubernetes的雲原生批量計算引擎,基於華為雲在AI、大數據領域的深厚業務積累,補齊了Kubernetes在面向AI、大數據、高性能計算等批量計算任務調度、編排等場景下的短板,向下支持鯤鵬、昇騰、X86等多元算力,向上使能TensorFlow、Spark、華為MindSpore等主流行業計算框架,讓數據科學家和算法工程師充分享受到雲原生技術所帶來的高效計算與極致體驗。

Volcano架構示意圖

隨着Kubernetes作為AI、大數據和高性能批量計算的下一代基礎設施的趨勢逐漸清晰,越來越多的企業對Kubernetes在深度學習、科學計算、高性能渲染等方面提出了更高的要求。

然而Kubernetes作為普適的容器化解決方案,仍與業務訴求存在一定差距,主要體現在:

  1. K8s的原生調度功能無法滿足計算要求
  2. K8s作業管理能力無法滿足AI訓練的複雜訴求
  3. 數據管理方面,缺少計算側數據緩存能力,數據位置感知等功能
  4. 資源管理方面缺少分時共享,利用率低
  5. 硬件異構能力弱

Volcano的誕生正是基於這些痛點,在調度、作業管理、數據管理、資源管理四個方面進行了重點優化。

  1. 增強了任務調度能力,如公平的調度(fair-share)、組調度(gang-scheduling)
  2. 進一步優化了作業管理能力,如multiple pod template能力、更靈活的error handling機制
  3. 增加計算側數據緩存,提升數據的傳輸與讀取效率
  4. 引入多維度的綜合評分機制,實現資源更高效的管理和分配
  5. 多元算力支持:支持x86、鯤鵬和昇騰等算力

Volcano v1.0新特性介紹

Volcano v1.0的核心概念和關鍵特性,主要包含以下要點:

  1. Queue、PodGroup、Volcano Job等核心概念均已實現
  2. 支持Binpack、Conformance、DRF、Gang、Preempt、Reclaim、Priority、Proportion等多種調度策略
  3. 支持Rest API、CLI等多種交互方式
  4. 完成與Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore等主流高性能計算框架的無縫對接
  5. 支持Job的全生命周期管理和動態擴縮容
  6. 支持GPU異構與共享
  7. 完備的golangCI-lint check、e2e以建立增強代碼質量和穩定性

除以上特性外,Volcano始終保持與Kubernetes社區、Golang最新版本保持一致。

Volcano社區和生態建設進展

經過一年多的發展,Volcano的社區和生態建設已經步入快車道。截至目前,社區和生態建設取得了以下成績:

  1. 社區貢獻者80+
  2. 社區貢獻參與組織15+,包括華為、百度、騰訊、AWS、IBM、 Oracle等
  3. 獲得Star 1100+,Fork 220+
  4. 代碼庫7個,Release 6個
  5. Issue 320+,PR 590+
  6. 已完成對Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore、Cromwell等10+主流計算框架的支持
  7. 華為雲CCE(雲容器引擎)、CCI(雲容器實例)、ModelArts等多個雲服務已將Volcano集成為基礎設施底座並商用,服務領域已涵蓋AI、大數據應用、基因計算、批處理等場景,並實現與華為鯤鵬、昇騰處理器深度融合,最快每秒1000個容器的調度發放,成為高性能、極致性價比的批量計算解決方案。

深入了解Volcano

如果想更加深入了解Volcano,可以參考以下資源:

Volcano官網:

//volcano.sh/

Github:

//github.com/volcano-sh

Volcano簡介:

//github.com/volcano-sh/volcano

Volcano設計:

//github.com/volcano-sh/volcano/tree/master/docs/design

Volcano路線圖:

//github.com/volcano-sh/volcano/blob/master/docs/community/roadmap.md

Volcano社區交流微信群:

Volcano CN

未來可期

隨着Volcano v1.0的發佈,Volcano社區建設與上下游生態的融合必將更加緊密,基於Volcano的商業應用也將極大地促進AI、大數據、科學計算、渲染等領域充分享受到雲計算帶來的極大便利和極致體驗,助力企業數字化轉型進入新的高度。

展望未來,華為雲也將在雲原生領域持續耕耘,持續引領創新、繁榮生態,助力各行業走向快速智能發展之路。

 

點擊關注,第一時間了解華為雲新鮮技術~