數據倉庫架構分層

數據倉庫架構分層

數據倉庫BI的常見體系架構如下圖：

數據倉庫在BI結構中是屬於數據服務層，標準上也可以分為四層：ODS（臨時存儲層）、PDW（數據倉庫層）、DM（數據集市層）和APP（應用層）。

ODS層分為增量更新或者全量更新；PDW層一致的、準確的、乾淨的數據，一般遵循數據庫三範式設計；DM層和APP層是屬於需要什麼數據就拉取什麼數據，報表展現，屬於同一級別。

數據倉庫在BI結構中各層次的位置如下圖所示：

為什麼數據倉庫需要分層：

（1）用空間換時間，通過大量的預處理來提升應用系統的用戶體驗（效率），因此數據倉庫會存在大量冗餘的數據；

（2）如果不分層的話，如果源業務系統的業務規則發生變化將會影響整個數據清洗過程，工作量巨大；

（3）通過數據分層管理可以簡化數據清洗的過程，因為把原來一步的工作分到了多個步驟去完成，相當於把一個複雜的工作拆成了多個簡單的工作，把一個大的黑盒變成了一個白盒，每一層的處理邏輯都相對簡單和容易理解，這樣我們比較容易保證每一個步驟的正確性，當數據發生錯誤的時候，往往我們只需要局部調整某個步驟即可。