Datahub 0.8.5發佈! 通用的元數據搜索和發現工具
近期Datahub 發佈了最新的版本0.8.5,作為LinkedIn開源的通用的元數據搜索和發現工具。Datahub近一年來有了巨大的發展,也成為了很多公司進行元數據管理的調研方向並進行使用的選擇。
新功能
0.8.5版本中datahub修復了各種穩定性的修復,並改進了多個數據源的元數據獲取方式,包括mongodb、looker、hive、snowflake。
在採用React重構前端以後,datahub的可視化功能得到了極大的提高。
但對於功能方面的改進,DataHub 也沒有停止。
功能簡介
Datahub目前提供了如下功能:
- 搜索:全文和高級搜索,搜索排名
- 瀏覽:瀏覽可配置的層次結構
- 架構:表格和 JSON 格式的表和文檔架構
- 粗粒譜系:支持數據集級別的譜系,下游/上游的表格和圖形可視化
- 所有權:顯示數據集的所有者,查看您擁有的數據集
- 數據集生命周期管理:棄用/取消棄用,表面刪除的數據集並用「已刪除」標記它
- 機構知識:支持向任何數據集添加自由格式的文檔
而新的功能也在開發當中。根據開發路線圖,細粒度的血緣關係也將會很快推出。
架構
不得不提到datahub的架構。
datahub由datahub ingestion,datahub fraontend,datahub serving三部分構成。
分為負責元數據的採集,存儲與可視化展示。
這種架構讓datahub可以非常靈活的進行各種數據源的對接與功能改進。
相信隨着社區的不斷活躍,datahub將在元數據管理領域大放異彩!
大數據流動 將於近期持續推出datahub及其他元數據管理,數據血緣等數據治理的落地方案,與實踐過程。歡迎大家關注~