Datahub 0.8.5發佈! 通用的元數據搜索和發現工具

近期Datahub 發佈了最新的版本0.8.5,作為LinkedIn開源的通用的元數據搜索和發現工具。Datahub近一年來有了巨大的發展,也成為了很多公司進行元數據管理的調研方向並進行使用的選擇。

新功能

0.8.5版本中datahub修復了各種穩定性的修復,並改進了多個數據源的元數據獲取方式,包括mongodb、looker、hive、snowflake。

在採用React重構前端以後,datahub的可視化功能得到了極大的提高。

但對於功能方面的改進,DataHub 也沒有停止。

功能簡介

Datahub目前提供了如下功能:

  • 搜索:全文和高級搜索,搜索排名
  • 瀏覽:瀏覽可配置的層次結構
  • 架構:表格和 JSON 格式的表和文檔架構
  • 粗粒譜系:支持數據集級別的譜系,下游/上游的表格和圖形可視化
  • 所有權:顯示數據集的所有者,查看您擁有的數據集
  • 數據集生命周期管理:棄用/取消棄用,表面刪除的數據集並用「已刪除」標記它
  • 機構知識:支持向任何數據集添加自由格式的文檔

而新的功能也在開發當中。根據開發路線圖,細粒度的血緣關係也將會很快推出。

架構

不得不提到datahub的架構。

datahub由datahub ingestion,datahub fraontend,datahub serving三部分構成。

分為負責元數據的採集,存儲與可視化展示。

這種架構讓datahub可以非常靈活的進行各種數據源的對接與功能改進。

相信隨着社區的不斷活躍,datahub將在元數據管理領域大放異彩!

大數據流動 將於近期持續推出datahub及其他元數據管理,數據血緣等數據治理的落地方案,與實踐過程。歡迎大家關注~