一站式Flink&Spark平台解決方案——StreamX
大家好，我是獨孤風。今天為大家推薦的是一個完全開源的項目StreamX。該項目的發起者Ben也是我的好朋友。
****什麼是StreamX，StreamX 是Flink & Spark極速開發腳手架，流批一體一站式大數據平台。 自2021年3月開源以來，貢獻者已累計發展到10多位。
隨着Flink&Spark生態的不斷完善，越來越多的企業選擇這兩款組件，或者其中之一作為離線&實時的大數據開發工具，但是在使用他們進行大數據的開發中我們會遇到一些問題，比如：
- 任務運行監控怎麼處理？
- 使用Cluster模式還是Nodeport暴露端口訪問Web UI？
- 提交任務能否簡化打包鏡像的流程?
- 如何減少開發壓力？
而StreamX就是專為解決這些問題而出現的，其提供了如下的一些功能：
- 開發腳手架
- Kubernetes部署模式支持
- YARN-Application部署模式支持
- 多版本Flink支持(1.12.x, 1.13.x, 1.14.x )
- 一系列開箱即用的Connectors
- 支持項目編譯功能(CICD/maven編譯)
- 快捷的日常操作(任務啟動、停止、savepoint)
- 支持Notebook(在線任務開發)
- 在線參數配置
- 項目配置和依賴版本化管理
- 在線管理依賴(maven pom)和自定義jar
- 自定義 udf、連接器等支持
- Flink SQL WebIDE
有的同學可能會使用Zeppelin比較多，兩者是有一定區別的，側重點不同。未來也會寫文做一下兩者的對比。
StreamX近期也發佈了最新的版本StreamX 1.2.0。
在最新的版本中支持了以下功能：
- 與 Hadoop 解耦, 平台在啟動時不在強制依賴 Hadoop 環境
- 較完整的支持了 Kubernetes 部署模式(Native Application/Native Session)
- Kubernetes 部署模式下, 任務的狀態追蹤監控
- 支持自動 build/push 鏡像
- Flink 最新1.14.0 支持, 目前已經支持 Flink 1.12.x / 1.13.x / 1.14.0
- 新增打包機模塊，任務打包 fat-jar 更方便
在2021年11月18日，StreamX 也成功的入選了開源中國的2021年度最有價值開源項目。
未來的StreamX也進行着與doris，dolphinscheduler等整合的計劃，也會繼續增強StreamX在Flink流上的開發部署能力與運行監控能力，努力把StreamX打造成一個功能完善的流數據 DevOps。
StreamX是一個完全由國人發起的開源項目。也歡迎大家聯繫我們，加入到開源項目中來，為中國開源崛起獻上一份自己的力量，未來共同向著成為Apache頂級項目而努力。
Streamx 官網:
Streamx Github:
//github.com/streamxhub/streamx
Streamx Gitee:
//gitee.com/streamxhub/streamx
on K8s 部署:
//www.streamxhub.com/zh/doc/flink-k8s/1-deployment
