數據服務基礎能力之元數據管理
一、業務背景
1、應用場景
在多變的數據服務場景中，應用中常見如下的業務需求，通過對多種數據結構的靈活組合，快速實現業務模型構建，整體示意圖如下：
像常用的畫圖工具，左邊提供基礎圖形庫，中間是畫布，右邊是組件的控制細節，對比到這裡的邏輯如下：
-
字段面板：提供業務數據結構的字段映射，和常規字段類型配置，用來支撐組合面板的表單配置。
- 數據結構：對現有業務結構做映射，可能是文件、數據表、JSON等，生成相對標準的字段選項；
- 拓補字段：維護一批基礎的字段類型，用來做拓補操作，完善整個業務結構；
-
組合面板：承載字段的組合管理，生成新的數據結構，根據業務場景，完成底層數據的抽取存儲或者API服務生成。
- 業務主體：通過業務需求的判斷，明確面板支撐的業務屬性，通過基礎結構組合新的業務主體；
- 組合結構：面板上呈現的字段，是多個業務結構的抽取，即不同業務結構中的部分字段組合；
-
規則面板：對組合面板上字段進行規制設定，常見涉及：描述，類型，默認值等，對面板字段進行相對統一的標準化管理。
- 描述信息：對於組合面板上的字段描述，也可以是原有映射的結果，作為新業務主體的屬性說明；
- 類型維護：複雜的環節，不同數據類型在不同的存儲中處理方式不同，需要統一維護類型存儲映射；
- 業務規則：對於新的業務主體，設置屬性的規則，可以是：唯一性，默認值，等等；
2、構建服務
基於上述功能的實現，可以快速實現以下服務能力，通常應用在業務多變的場景中：
-
數據主體構建：通過組合面板的結構生成，快速完成相關數據的抽取和存儲，作為新的業務場景中的主體數據。
-
服務API生成：在數據服務中，直接通過配置，生成API服務能力，並控制參數的響應結構，這種情況通常會以實時查詢的方式處理。
-
數據智能分析：在數據分析場景中，側重統計的結果，基於字段和圖表結構，生成相應的統計分析任務，靈活管理分析報表。
這裡是簡述相對單一的應用服務，如果把這裡的流程分段放大，在整個數據服務體系下，就是圍繞元數據管理的複雜的基礎系統：圍繞數據結構映射，進行元數據標準化管理，在此基礎上二次組織數據，快速響應業務需求。在這樣的流程下，可以快速建立業務鏈路，提供高效的服務能力，降低試錯的成本。
二、元數據概念
1、基礎描述
從定義上說，元數據(Metadata)即描述數據的數據，但是在實際使用的時候，還是存在很多細分的概念，看下面的案例：用戶性別；
從細分角度看，可以對上面數據進行兩塊劃分，即業務層與技術層：
- 業務層：名稱.釋義.說明.值類型;
- 技術層：路由庫.路由表.存儲類型.值類型;
這裡的分層只是描述的側重點，業務層偏嚮應用端，技術層偏向底層系統的交互和實現，在對性別的描述上都是核心維度。
所以從本質上看元數據，介於系統和業務中間，提供雙方都能明白的語義和邏輯，可以更加高效的支撐數據的業務價值。
2、血緣關係
上面是從單個指標看元數據的結構，如果從整個鏈路上看，就會形成層級線路，通常稱為血緣關係：
從上層業務側追溯到底層結構，形成血緣關係的概念，概念本身並不重要的，背後的核心是鏈路的管理，鏈路上的節點（中間實體）是通過多種計算手段生成；
如果某個節點數據一旦出現質量問題，則需要根據這裡的鏈路關係進行逐級向底層排查，完成問題修復後，還需要根據關係向上逐級修復清洗；如此通過血緣關係進行數據質量的分析和把控。
3、業務價值
元數據管理是一個持續又漫長的過程的，任何系統的搭建都需要業務來衡量其存在的價值，其核心邏輯在於：統一標準化管理元數據信息，規範業務層的定義，並通過技術層面快速定位數據，自動化抽取數據，靈活支撐業務應用。
-
圍繞核心業務：通常在項目初期的時候，只圍繞一些核心業務主體，使其在使用的時候靈活高效，後續在持續擴展其他能力。
-
數據成本分析：基於元數據中鏈路，分析各個節點數據的生產維護管理等成本，為數據服務中商業定價提供參考，可能直接影響服務是否可提供的決策。
-
配置可視化：在數據服務平台中，最忌諱的一點就是靠手動去維護各種作業，不管在什麼場景下，都要考慮可配置化管理，保證動作可追溯。
-
流程自動化：不管是元數據結構映射，還是配置後數據的抽取，要保證指令生成後可以自動完成該一系列動作，並完成流程監控分析。
-
資產化分析：通常會把元數據視為數據資產體系，因此圍繞元數據去統計數據的使用情況，產生的價值，以及熱點數據識別和分佈，業務主體關聯度等，並輸出相應分析結果。
如果單從業務角度去看，元數據系統的存在，就是為了可以快速理解元數據，並且靈活的組織管理，以此降低服務能力的實現成本。
三、架構設計
1、系統分層
-
採集層：元數據系統中的基礎節點，架構體系的底層，維護元數據獲取通道和映射管理以及落地存儲，並實現結構管理和數據處理過程；在數據源中可能存在多種情況：數倉環境、文件結構等，在特定情況中，還需要一定程度的手動維護進行結構拓補；
-
管理層：對於元數據核心能力打造，和相應的標準化管理，或者二次加工，數據源層面直接採集的數據通常不具備標準的業務語義，更多偏向技術側的說明和邏輯，在經過標準化維護之後，在放開給應用層之前，還需要經過質量檢測：例如工作城市，如果缺乏相應的枚舉字典，顯然是不合格的，必須經過必要的處理才能放開；即管理層放開的數據需要標準化和整體維度完善；
-
應用層：基於元數據能力的應用層開發，對於實際業務場景提供解決方案和功能入口，以及相應的系統中用戶權限隔離等基本功能；
從系統分層的角度理解流程並不複雜，但是實際的實現過程簡直不堪回首，技術棧使用非常複雜，多個版本邏輯重構再重構，並且不斷的改進優化，最終才能實現相對穩定的服務能力。
2、元數據採集
在採集數據的時候，面對的最大問題就是多種類數據源解析適配，以及數據調度任務的抽象，必須開發對應的工具來實現各種場景的元數據解析能力：
-
解析能力：適配解析各種數據源特點，文件格式，SQL腳本，抽象任務等，完成標準元數據的轉換沉澱；
-
類型識別：十分複雜的一個節點，類型在描述數據的時候至關重要，結構化存儲可以直接讀取，文件類結構通常需要類型轉換標識，任務流程會直接統一管理，依次保證數據在不同環境中的合理存儲；
-
更新消息：業務的發展中，各種數據結構是頻繁變動的，這就需要與元數據系統進行同步，通常要向消息服務（總線）發送通知，然後觸發元數據更新動作；
核心能力：結構與類型識別解析、獲取初始化數據，並且通過消息通知線路，完成動態更新流程的觸發。
3、元數據管理
核心能力的打造，通常在系統初期都是圍繞基本能力和業務需求的方向，以求快速落地實現，提供業務支撐能力；
-
基礎能力：標準化元數據結構，進行結構存儲和可搜索能力實現，這個節點進行統一維護，數據類型識別和轉換是至關重要的；補充說一句，在數據平台中，都會存在類型服務系統，以提供相應的識別能力和規範不同場景下的轉換；
-
實體與關係：數據業務中兩個核心概念，實體必然由屬性構成這是常說的，實體之間維護的關係：關聯、、綁定、輸出、輸入等，是構建血緣關係和數據鏈路的核心標識；
-
數據抽取：基於對元數據的組織和實體的定義，生成數據抽取規則，進而完成數據的快速獲取，後續就是對接具體的業務，例如數據存儲方式，搬運方式，最終落地業務線使用；
-
可視化分析：包括數據質量分析，鏈路與周期分析，血緣分析等，這類功能一般在核心業務能力完成之後，會按需求等級，逐步迭代實現；
通過核心能力的建設，以求實現對數據的快速定位，高效管理，靈活應用的目標，提高數據服務能力的效率，適應業務發展的多變性。
同系列：消息中間件改造 ┃ 數據服務系統設計 ┃ 業務數據清洗方案 ┃ 數字營銷概念 ┃ 標籤業務應用 ┃
四、源代碼地址
GitEE·地址
//gitee.com/cicadasmile
Wiki·地址
//gitee.com/cicadasmile/butte-java-note/wikis
閱讀標籤
【Java基礎】【設計模式】【結構與算法】【Linux系統】【數據庫】
【分佈式架構】【微服務】【大數據組件】【SpringBoot進階】【Spring&Boot基礎】
