大數據分析中數據治理的重要性，從一個BI項目的失敗來分析
很多企業在做BI項目時，一開始的目標都是想通過梳理管理邏輯，幫助企業搭建可視化管理模型與深化管理的精細度，及時發現企業經營管理中的問題。
但在項目實施和驗收時，BI卻變成了報表開發項目，而報表的需求往往和個人習慣有關，一旦人員發生變動，尤其是新入職的高層，會把前公司的內容搬過來，這就需要重新開發一大堆報表。
如果不從源頭進行控制，被動服務模式下的IT不可能滿足所有人的報表需求。接下來我們要講的這個案例就真實反應了這個過程，同時也為大家解析問題產生的原因並找到解決問題的方法，建議所有有計劃或已經實施BI項目的企業，認真閱讀本文。
一、
2011年底至2012年初，筆者在某女裝公司組織實施BI系統，項目第一期就花了100多萬，長達6個月的周期，經歷了業務需求調研、數據清理、指標體系梳理、數據模型構建等等一系列中規中矩的項目實施過程。
從業務個性化需求報表到以經營指標為導向的數據模型、數據駕駛艙等等，在項目組看來，除移動化展現，幾乎覆蓋了當前所有業務需求。在多次宣導並召開上線動員大會後，BI終於正式運行了。
然而現實卻給了項目組一個響亮的耳光，在BI系統上線後，3個月內不僅使用次數屈指可數，就連最初要求的月度經營分析和績效考核必須從BI中取值這兩點都沒有實現，依然需要業務部門從各個系統中導出數據再自行計算統計。
第一期項目很快就被宣判失敗，這讓整個項目組深受打擊，實施方法論是沒有問題的，也針對上述狀態的可能性做了很多短期過渡的報表，還有最大自由定義的萬能報表，但最後用戶們依然不滿意。這究竟是什麼原因呢？
二、
項目組進行反思，並用一周時間去做了用戶調研，進行深入地討論總結。
1、大部分用戶回饋BI系統操作缺乏便利性，使用起來特別麻煩。因為每個用戶只需查看自己日常工作的數據即可，這第一期BI系統實施把所有業務特性進行了歸納，按照其基礎職能設置指標組合與自主選擇的時間跨度欄位。
用戶因此產生一個印象就是需要的報表全部堆砌在一起，你需求什麼自己去找，而且部分派生指標取值需要重新計算後產生，報表展現的效率低下，BI操作起來就很痛苦。
其實每一項體系既要有決策層的視角，也要有管理層的視角，雖然按照操作層的指標體系與時間自定義幾乎涵蓋一切，但這樣並沒有針對每一個崗位進行相應的配置，要想得到用戶認可，首要要素需要滿足各層級用戶在某一時間周期內的數據所見即所得
2、指標體系的管理邏輯梳理不清晰，需要用戶憑經驗去尋找數據背後的邏輯。BI的價值是提升管理的精準度，通過數據構築一個企業管理模型。
BI系統實施的最大能力就體現在如何梳理管理邏輯，幫助企業可視化展現管理模型與管理的精細度。
3、主數據定義的一致性問題，用戶經常回饋業務系統與BI數據報表中相同維度的數據會出現的一些差異，導致大家對BI數據的信任度嚴重下降。
綜合上述調研的問題，項目組徵得公司資訊決策委員會的同意，於2012年8月啟動了第二期的BI系統實施，項目組經過商討決定改變實施思路，先暫停技術性工作，首要任務是進行公司的數據治理。
三、那麼數據治理要怎麼開展呢？
第一個就是主數據的治理，也就是說企業經營管理過程會用到哪些主數據？這些主數據是如何產生、如何進行分發、會標記哪些維度形成派生主數據？隨後在BI中單獨搭建一個主數據中心庫，抽取業務系統的主數據按照分類原則存放，並開發主數據一致性校驗程式與主數據分發日誌表。
第二個是指標的梳理，建立指標體系，定義每個分析過程中的使用的業務指標，建立評價標準，以及計算方法，將業務管理邏輯進行更加直觀的呈現，銷售環節出現了數據波動就可以直觀的呈現出來，通過指標的呈現，可以追蹤哪部分業務發生的問題。
第三個就是規範數據產生的入口，以及數據取值的出口的標準。明確所有數據的錄入產生的作業標準，建立各個系統到BI的介面規範，企業經營活動中產生的幾乎所有數據都要進數據倉庫，並由BI系統統一進行數據抽取與數據加工；
另外針對所有業務部、職能部提交的月度經營分析、月度績效考核、年度關鍵考核指標、日常管理分析的全部數據需求進行綜合評估分析，搭建相應的數據模型，要求任何所有應用數據都從BI系統取值，有了入口與出口的規範才能保證數據的一致性與唯一性。
四、
完成上述三個動作後由項目組協同企管部門編撰公司數據管理制度，進行全公司範圍的發文，數據管理制度定義了主數據產生、指標體系的結構與演算法、數據錄入與輸出的標準等，是一項公司完整數據管理規範。
發文同時還明確了公司數據治理小組的組織架構與職能，治理數據小組有4種角色：
- 第一個是數據操作員，是業務部門的操作人員，主要發起主數據的調整、BI系統的維護、指標體系的修改申請等等；
- 第二個是數據審核主管，往往是部門領導。每個數據是由不同部門負責的，首先由數據操作員提出第一級的申請，其次是數據負責的部門進行審核。
- 第三個角色是數據的分析員，他對數據審核主管的審核進行分析，看修訂的要求是否合理？是否影響其他主數據、指標和數據模型。
- 第四個角色是BI系統的管理員，經過審批審核後修訂要求必須由系統管理員操作才能進行調整。即使這樣每隔一個時段還是會有很多業務指標需要調整，比如新的業務出現或是新業務發生變化，甚至要調整公司組織架構，這個流程申請就是項目管理形式進行。
公司OA中也配置相應的三個流程，一是主數據的修訂流程、二是管理指標和KPI指標調整的流程、三是報表優化的流程。通過數據治理實施過程，IT團隊的數據中心部門基本實現公司數據的統籌工作，整體上也形成了PDCA的循環。
五、
數據治理進行了一個月時間後，項目組又重新針對BI系統進行了優化，關鍵點有以下幾個：
梳理業務分析體系：先從純業務角度總結和梳理，分析各個業務中的流程和思路、常用角度、導向、評價標準，以及業務背後的原因。此體系的建立，是業務分析的總覽，也是業務流程環節的真實需求，為後續的指標體系、系統實現打下基礎，同時在業務分析體系建立的過程中，收集分析業務、數據的痛點和需求。
重新整理分析需求：根據收集的需求，業務分析的流程和思路，以及系統中的報表進行匹配和提煉，形成新的分析需求。
針對公司零售業務的變化特性，以月度為單位記錄業務調整導致的指標比重係數發生調整和變化的歷史數據，比如新店變成次新店、次新店升級為老店的時間維度差異。
將指標體系的業務管理邏輯進行更加直觀的呈現，銷售環節出現了數據波動就可以直觀的呈現出來，清楚的知道到底是哪部分業務發生的問題。
更加細緻精準劃分管理層級的數據展現，針對業務操作層的用戶也可在日常應用、周度彙報、月度績效、年度關鍵指標上進行數據的直觀呈現，所見即所得，雖然開發工作量增加，但是用戶體驗直線上升。
六、
公司的管理理念也發生了深刻的變化，從上至下不再用定性的語言表達，形成了用數據說話習慣。當管理維度與經營業務發生變化的時候，也形成了通過數據治理體系來進行相應修訂調整的習慣。
IT團隊的數據中心部門設置5個崗位，數據中心經理負責管理工作，數據分析師負責數據模型的設計以及指標的分析，有兩個BI系統開發師負責數據倉庫維護與數據模型開發，一個H5開發工程師負責移動端開發。
七、
從整個BI項目的實施價值上來講，有這樣幾點內容可以分享：
從公司經營決策者角度來講，通過駕駛艙可以快速看到企業的業務全局，及時掌握公司的經營狀況，通過數據鑽取透視看到整體業務的變化過程。經營層面出現的任何問題，都能透過數據預警回饋到業務管理邏輯上，也非常容易找到關聯的業務動作，也就是哪些業務出現了問題。
管理者透過駕駛艙與關鍵考核指標組合報表可以快速閱讀自己的KPI指標以及關注和的經營指標的變化，因為每個管理崗位應該關注的什麼內容在體系上梳理很清晰了。
數據倉庫，通過建立數據倉庫，進行企業的數據治理，將企業的數據打通，形成可以分析和復用的數據資產。
整個操作層用戶的工作效率提高了很多，大家都在一個頻道，用同一種數據來源做彙報，再也不需要像過去需要臨時加工一些亂七八糟的報表了。
BI系統第2期的實施大大豐富了IT團隊的知識結構，尤其是數據中心團隊的歸納總結、分析問題以及對公司主營業務的認知和理解能力有很大進步。
也讓業務部門清楚地認識到IT對企業管理的價值，更加配合今後資訊系統的實施與部署，IT部門的影響力得到了直觀體現。
如對大數據分析有興趣的加QQ群：186841119 進行交流學習！
