成員網研會:Flink操作器 = Beam-on-Flink-on-K8s(影片+PDF)

  • 2020 年 2 月 20 日
  • 筆記

講者:Aniket Mokashi,工程經理 @Google;Dagang Wei,軟體工程師 @Google

開源一直是Google雲的數據和分析策略的核心支柱。從2004年的map reduce論文開始,到最近發布的用於ML的Tensorflow開源版本,用於數據處理的Apache Beam,甚至Kubernetes本身,Google已經圍繞它的開源技術和跨公司邊界建立了社區。

大量傳統企業正在規劃以混合雲和多云為核心的雲轉型。Kubernetes提供了一個平台,可以輕鬆地將應用程式從本地移植到各種公共雲上。最近,Google的雲Dataproc團隊接受了在基於Kubernetes的集群的Flink runner上運行Apache Beam的挑戰。這種架構為使用Python提供了一個很好的選擇,並且在你的數據流水線中提供了大量的機器學習庫。然而,Beam-on-Flink-on-K8s堆棧帶來了很多複雜性。這些複雜性就是為什麼我們構建了一個完全開源的Flink操作器(Operator),它不僅抽象了運行這些複雜流水線的Google最佳實踐,而且還提供了一組緊密的API,使在你的公司中運行Flink流水線變得很容易。

加入我們的會議,深入了解Kubernetes的Flink操作器。你將深入了解我們在Kubernetes上運行Flink的最佳實踐,其中包括何時使用邊車(sidecar)容器、如何對外部存儲進行檢查點以及與雲安全模型的集成等概念。你將了解如何將這些技術應用到自己的雲應用程式中。此外,你將學習如何擴展自己的服務,並了解成為項目的貢獻者是多麼容易!

影片

影片內容

PDF

https://www.cncf.io/wp-content/uploads/2020/02/CNCF-Webinar_-Apache-Flink-on-Kubernetes-Operator-1.pdf

參與網路研討會

CNCF網路研討會是教育新成員和現有社區成員了解趨勢和新技術的好方法。我們正在尋找項目維護者、CNCF成員、社區專家來分享他們的知識。網路研討會是非推廣性質的,專註於雲原生空間中的教育和思想領導力。