一、ETL實踐之數據可視化架構

• 2020 年 10 月 27 日
• 筆記

開篇心聲：

　　不管是學習新知識，還是遇到各種難題，總能在技術論壇找到經驗帖子。一直享受大家提供的幫助，而自己沒有任何輸出，實在過意不去。我相信技術是經驗的交流，思維的碰撞。

　　這是我一次寫技術分享文章，我想用系列文章介紹用Mongodb、Kettle、Metabase這三個開源軟體在數據可視化實踐中的一些關聯問題，Mongodb腳本在不同軟體中的應用注意事項。

先展示下我所用技術架構：

　　數據源：Mongodb資料庫集群、Excel，業務端用的數據源，數據抽取只能兼容。　

　　ETL工具：Kettle，大多數ETL工具數據源對關係型資料庫支援友好，而對NoSQL支援就有點差強人意。Kettle在BigData里集成了Mongodb組件，雖然用起來不如SQL數據連接，但還算穩定，支援Json格式的Mongodb腳本查詢。

　　數據倉庫：Mongodb、PostgreSQL，數據源其實很靈活。數據體量達到PB及以上，建議直接用雲數據倉庫；數據量不大的，用自己熟悉的庫就好。

　　可視化：Echart、Metabase，Echart是百度開源的Javascript可視化插件，Metabase是國外的開源數據可視化軟體。試過FineBI，其功能和圖表比Metabase更豐富。不過，FIneBI免費版僅支援兩個節點同時訪問，自帶數據源不支援Mongodb數據源。應用市場里有付費Mongodb連接插件，公司一看25000，而且需要經過FineReport轉換，怕掉坑果斷跳過。

　　Kettle、Metabase運行需要JAVA環境。

　　整體技術架構圖1所示：

圖 1