[平台建設] Spark任務的診斷調優
- 2021 年 12 月 31 日
- 筆記
背景 平台目前大多數任務都是Spark任務，用戶在提交Spark作業的時候都要進行的一步動作就是配置spark exec …
Continue Reading
[平台建設] 大數據平台如何實現任務日誌採集
- 2021 年 12 月 30 日
- 筆記
背景 平台任務主要分3種: flink實時任務, spark任務,還有java任務,spark、flink 我們是運行在 …
Continue Reading
[平台建設] HBase平台建設實踐
- 2021 年 12 月 27 日
- 筆記
背景 由於公司業務場景的需要，我們需要開發HBase平台，主要需要以下功能: 建表管理 授權管理 SDK實現 與公司內部 …
Continue Reading