DataPipeline丨DataOps的組織架構與挑戰

• 2019 年 10 月 3 日
• 筆記

作者：DataPipeline CEO 陳誠

前兩周，我們分別探討了“數據的資產負債表與現狀”及“DataOps理念與設計原則”。接下來，本文會在前兩篇文章的基礎上繼續探討由DataOps設計原則衍生出的具體組織架構。

讓數據快速從負債變成資產，絕不僅僅是某種軟體或者工具就可以做到的，我們需要構建相應的文化。DAMA的數據治理體系，非常詳細地介紹了大量常見的崗位和職責，在此就不一一贅述，只是在此增加一些貫徹DataOps時非常關鍵的細節。

我們觀察到有些企業開始讓業務決策流程更多的基於數據而非完全基於等級權力、直覺經驗。比如，讓薪酬績效和使用數據創新的程度掛鉤，公開表揚那些通過小步快跑使用數據為公司開源節流做出貢獻的先進標兵等等。 

但如果仔細觀察，這些都是數據文化落地的結果，而非原因。我們認為，改變文化最重要的是構建與願景相符的組織架構和責權利說明。否則再多措施，都將是杯水車薪。Gartner預測，到2021年，CIO將像首席人力資源官那樣擔負起文化變革的職責，將“文化即障礙”的話題轉向“文化即賦能”。

而DataOps所代表的數據驅動文化，並不適合所有組織，只適合那些業務過程中產生的數據價值密度比較高，並相信數據可以提升改變的組織。
 在探索組織架構的設計原則中，我們一定要堅持合規、快速、開放三個原則，明確實踐DataOps過程中所需的角色和職責。 

首席執行官和董事會 

數據即戰略，CEO和董事會需要深刻理解快速將數據戰略落地的意義和風險，並著手構建下述組織架構，鼓勵相應的文化和創新。

CEO都是戰場上拼殺出來的將領，既要關注生存，也要關注發展，所有創新的主題都需要圍繞業務價值，而數據很難做到立竿見影，所以平衡短期收益與長期發展考驗的是CEO的智慧。例如，Nike在開展數字化轉型的若干年後才開始連續N個季度的兩位數增長。CEO既要鼓勵創新，又要有耐心培育新的土壤。如果CEO在公布決策時都是引用數據，並對企業內部的數據創新非常熟悉，那麼DataOps已經成功了一半，否則其他人的努力有極大概率會付諸東流。

 首席數據官（CDO） 

由CEO領導，CDO就是用數據創造業務價值的首席運營官，直接負責公司組織內部數據發展策略落地的詳細路徑和整體節奏，根據業務模式確定合規要求、需求滿足的價值、速度、流程、以及自動化、智慧化技術路線的選擇。

這裡一定要注意滿足業務需求的速度和品質，由於數據需求的挑戰較大，太多CDO無法在一定時間，一定業務範圍內快速達成CEO、董事會、業務部門希望看到的效果。沒有一個好的起點，首席數據官的工作就會喪失前進的節奏，陷於和業務部門就數據的上收、使用等流程長期討論和拉鋸的泥潭中，造成惡性循環，使這個崗位變成高危職位，很難度過蜜月期。據我們觀察，很多企業開始設立CDO的崗位，並嘗試通過數據帶來業務增長，客觀來說，這和其他高層職位一樣，是一個機遇與挑戰並存的情況。 

數據合規與標準委員會 

由CEO領導，並由公司的業務線領導、法務領導、首席數據官組成，詳細制定出數據使用的邊界、自由度和數據品質標準。負責隨著業務的發展保持最高頻率（一般是一周一次）的討論更新，同時使用自動化的工具將規則同步至數據系統中。如果業務的變化無法從合規層面保持一致，就會逐步成為限制數據使用的瓶頸。這裡的挑戰在於不讓規則討論過於大而全，要儘快在一定範圍內達成共識，逐步推動部分範圍內規則地快速落地，否則會使願景的落地失去前進節奏。

 數據部門 

由首席數據官領導，包括數據工程師，分析師和數據科學家。數據工程師負責使用符合時代挑戰的自研或者商業的工具，確保業務用戶可以自助式地完成數據全生命周期的使用和管理。同時負責企業內外的數據源能自動高效地集成融合，快速滿足業務取數、用數需求，另外通過保證元數據、主數據、數據血緣與業務發展時刻保持一致，讓業務準確無誤地理解數據語義。

他們不僅要確保大數據平台的負載均衡、穩定性，可以隨時響應業務對數據模型的計算和查詢需求。還要遵循標準委員制定的標準，通過手工制定規則和各種演算法確保數據品質並儘可能做到前置預警。通常情況下，為了快速支援業務部門實踐數據服務，創新業務模式，數據部門需要對外提供根據業務許可權快速構建服務API化內部數據的能力（Gartner定義為Data Hub）。

最後，也是非常重要的一點，在應對業務部門的需求時，需要有一套“定價體系”。因為數據支援業務的發展探索是存在成本的，但目前業務部門對此並無感知，更核算不出ROI，例如雲服務、數據服務API的成本，完成需求所需的人力成本（如果是純自助可靈活考慮）。在成本面前，很容易篩選出真需求，排出優先順序，並且在後續服務中理清ROI。這條路舉步維艱，但又勢在必行，否則數據部門的業務價值困境始終會存在。 這裡需要討論的是，有時數據部門在沒有設立首席數據官的情況下也由CIO領導，這時有一個職責劃分藝術，每個企業的情況都不同，但CDO的重點職責是在合適的企業內帶領數據組用數據快速產生業務價值。CIO的職責範圍更廣，但專精的領域不在該點上。

 業務部門 

部門中應當擁有能深入理解業務的分析師和科學家，自助使用數據部門提供的工具，這時使用門檻會不斷降低，取數用數的難度和周期也會大幅下降，技能的要求一般是SQL級別。因此業務部門需要更加理解數據，並構思數據可以應用到自身業務發展的角度，再通過管理數據使用的全生命周期，在實踐中不斷總結。 挑戰在於如何能快速用數據高效地帶來業務價值，通過解耦來擺脫髮展受到數據部門效率制約的現狀。

對上述問題感興趣的夥伴，請持續關注DataPipeline

參考資料：《首席資訊官：打破文化壁壘，賦能數字化轉型》作者 / GartnerInc