數據中台：建立在數據網絡效應之上的賽道
好文8145字 約15分鐘閱讀
過去兩年，數據中台的概念在中國遍地開花，這個源自於阿里巴巴數據實踐的名詞，藉助數字化轉型的東風迅速成為了企業CTO談論的中心，迅速發展成為一個至少千億級別的賽道。2019年，也被稱為數據中台元年。
為什麼阿里巴巴能成為現在普遍認同的技術領先公司，持續推進數據的大規模運用是其中最重要的因素之一，這套數據方法論最終沉澱下來成為了今天我們所認知的數據中台。
數據中台之所以區別於此前的大數據平台和數據湖，來源於其融合了兩大屬性：技術屬性和業務屬性。如果說過去所有的IT解決方案強調的是「IT工具適配業務需求」，那麼數據中台所強調的就是「使用數據解決業務問題」，兩者的本質區別在於，傳統IT解決方案更強調IT成本的降低，而數據中台則更強調使用數據創造利潤。
利潤可能來自於成本降低，也可能來自於收入增加，或者是來自於數據驅動的業務創新，全看企業需要解決的是什麼業務問題，IT成本的降低本身也是數據中台的題中應有之義。
換句話說，要看明白數據中台的未來發展，就必須要從業務開始理解利潤，把數據中台當成一個業務概念來理解。
01
縱向優化：端到端的業務挑戰
縱觀歷史，分層和模塊化是工業革命以來複雜業務系統得以發展的關鍵。哪怕是在技術領域，分層優化也是計算機系統的核心思想，統領了過去幾十年的發展史。
從這個視角來看，我們大概能把企業的業務和技術發展史劃分成4個階段：
1. 機械時代：計劃執行分離，前店後廠；
2. 電氣時代：前後台分離，科學管理；
3. 信息時代：模塊化、流程化管理；
4. 智能時代：中台化、智能化管理。
從這段歷史我們可以看到，今天的企業技術市場，乃至包括企業的組織結構等等，大部分都奠定於第三個時期（信息時代），根據分層和模塊化的方式來進行組織。
舉例來說，汽車企業的組織形態，就有非常濃厚的第三時期特徵。首先，人事、財務和IT構成了企業後台，統一向前提供服務；其次，業務前台圍繞車的規劃、研發、採購、製造、市銷分成4-5個主要的業務事業部，事業部內部橫向開展流程化和模塊化工作；最後，每個業務模塊的外部服務市場，也是根據流程和模塊來分佈，比如在營銷領域，圍繞市場調研、品牌諮詢、媒體購買、口碑監測等等形成了模塊化的市場生態，每個模塊內部多家供應商形成橫向競爭。
橫向競爭的意思是，在模塊和分層內部尋求產品和服務的替代者，比如Intel和AMD在PC芯片領域就是橫向競爭，橫向競爭是第三時期企業服務市場的主要特徵。
橫向競爭也是企業橫向優化的必然結果，企業在管理諮詢專家的協助下，優化企業的內部流程和模塊，同時每個模塊分別向外進行招投標，從一眾橫向競爭者中優選適配的企業服務。
然而，隨着過去十年平台的崛起，競爭態勢發生了巨大變化。
如果我們把阿里巴巴、騰訊、美團乃至谷歌、亞馬遜的服務版圖拉開，我們會發現，每個橫向競爭的領域裏面幾乎都有平台的身影，哪怕不是他們自己的服務，也有他們投資的公司在提供服務。企業在尋求業務服務的時候，哪怕僅僅是在一個細分的模塊，也必須考慮到背後涉及的平台，而不能僅僅像第三時期一樣，把業務預算切分成不同的蛋糕，讓橫向競爭者來競標。
究其原因，平台打破了傳統價值鏈分層競爭的模式，統一顧客（用戶和客戶）視角，圍繞顧客價值鏈進行了縱向的優化，相比較傳統企業只有營銷和銷售部門面向顧客，平台的每一個部門都在面向顧客，甚至是後台的IT、財務和人事部門，都需要圍繞提升顧客體驗來貢獻價值。
於是，企業服務市場的競爭態勢就從價值鏈分割的橫向競爭轉向了價值鏈整合的縱向競爭。「縱向競爭發生在一個渠道或者價值鏈之上，渠道的每個階段或者價值鏈中的參與者，都從為消費者提供的最終產品和服務所產生的收入蛋糕中切分到一塊利益。」說這句話的是Scott Brinke，他是《營銷的科學與藝術》的作者，2016年底他在評論MarTech市場的時候，第一次總結了「縱向競爭」的現象。
他發現，隨着營銷日益被平台和數據白盒化，營銷領域的橫向競爭日漸變成了圍繞價值鏈上下游展開的縱向競爭：過去奧美的競爭者是陽獅，但是今天上游的埃森哲下場縱向收購，成為了這些4A公司最大的競爭對手；過去品牌的營銷策略由4A公司和品牌共同商定，今天兩方卻都需要將brief交給平台來審核，甚至平台自己下場來為品牌量身定製策略，4A公司淪為執行方（參考天貓超級品牌日）。
這種現象不僅僅出現在營銷領域，也不僅僅出現在企業外部的服務市場，蘋果和特斯拉就是兩個在企業內部開展「縱向優化」的代表。
蘋果最新的M1芯片，各項性能超越原本的Intel芯片數倍以上，把原本數小時的視頻壓縮時間生生縮短了70%-80%。完整的「軟硬一體」的生態體系和供應鏈，讓蘋果有能力不斷投入新技術研發，並把技術優勢進一步轉化成利潤。M1就是蘋果「縱向優化」的產物，作為一顆SoC，其架構不同於Intel為代表的通用CPU，完全服務於蘋果的封閉生態，卻帶來了體驗的超越進步，把Intel的「牙膏」徹底擠沒了。
為了提升Model 3的生產效率，馬斯克召開了一個 12 人的頂級工程師會議，開啟了特斯拉的生產自動化、智能化進程，從研發車床開始重構了衝壓、焊接、塗裝、裝配四大工序，構建了和蘋果類似的完整軟硬件生態鏈條，改變了傳統供應鏈高度依賴博世和大陸的分佈式架構，採用了全新的中央集成式架構來「縱向優化」汽車製造。
相比較橫向競爭，「縱向競爭者爭奪的對象，是相對其他競爭者能從總體的收益中獲得多少份額。」Scott說，「從客戶或消費者的視角出發……離最終客戶越近、中間的層級越少、跟客戶直接交互的觸點越多，公司就越有競爭力。」
京東的「十節甘蔗」理論某種程度上驗證了Scott的說法。劉強東把面向消費者的價值鏈條分成創意、設計、研發、製造、定價、營銷、交易、倉儲、配送、售後等十個環節，其中前5個歸品牌商，後5個歸零售商，圍繞後5個環節的價值鏈，京東着力打造了其中的倉儲配送能力，通過縱向「吃掉更多的甘蔗節數」成為中國電商的另一個代表平台。
綜合而言，以平台為比較對象，未來企業的數字化轉型所面臨的最大挑戰，不是每個模塊內部的橫向分別優化，而且圍繞價值鏈展開的縱向全局優化，最大難題在於：
1. 業務上：如何統一顧客視角，把高度橫向分化的價值模塊整合成「以顧客為中心」的縱向價值鏈條，打造端到端的顧客服務體系（End to End）；
2. 數據上：如何統一開展數據治理，把分散的孤島數據轉變成可信的數據資產，形成全局數據支撐「以顧客為中心」的端到端服務體系；
3. 組織上：如何改變高度依賴橫向競爭者的分佈式架構，圍繞核心價值鏈構建「以顧客為中心」的平台式架構，從流程驅動轉向數據驅動。
另外，需要澄清的是，這裡的端到端並不是說不需要進行分層優化和模塊優化，而是需要找到更合理的架構來打破原有邊界，優化分層和模塊，以及鏈接方式。如果說第三時期的專家是管理諮詢專家和IT顧問，那麼第四時期的專家就是架構師。
今天企業面臨的架構問題，除了傳統的技術架構問題，還有數據架構問題，以及和技術和數據相匹配的業務架構問題，同時，企業還需要解決新的商業模型下團隊和角色的缺失問題（比如數據科學家），以及如何調整組織架構以適應全新的商業挑戰問題。
如果說過去的架構問題是紙老虎，那麼，今天的架構問題就是真老虎，必須要通過各種架構師來從根子上進行優化。
02
價值鏈整合：
以用帶通，以通促用
可能不為人所知的是，最早的業務中台和數據中台多多少少都和eBay有關。
eBay作為最早成熟的電商平台，需要服務大量碎片化的商家和碎片化的用戶，傳統的應用開發方式和部署方式存在大量重複建設和資源浪費的問題。為了解決這個問題，eBay摸索建立了5C（5個中心，包括商品中心、會員中心等等）的業務中台架構雛形，圍繞BI需要搭建了「數據採集-數據消費」的數據架構。
後來阿里巴巴的業務中台就脫胎於eBay，淘寶通過五彩石項目複製了5C的方法論，構建了阿里自身的業務中台；支付寶則複製了eBay的BI體系，構建了BI的數據架構，但是這個時候，並沒有真正意義上形成數據中台。
奇點雲創始人行在曾經是阿里數據的老兵，完整經歷了阿里巴巴從數據倉庫到數據中台的發展過程，也是阿里雲數加平台（現阿里數據中台Dataworks）創始人。他表示，數據中台並不是憑空長出來的，或者是單純技術進步的產物，而是經歷了「看、用、運營」三個階段，業務需求驅動了數據中台 One Data 方法論真正成型。
最初，業務僅僅是希望用數據來看見「業務發生了什麼？怎麼發生的？」，數據僅僅支撐了各個事業部內部的BI分析需求，但即使是這樣，到2012年，阿里巴巴有50%的服務器都不再進行任何事務處理，而僅僅用於數據分析，可見數據分析的規模。
為了解決海量數據的存儲計算問題，阿里巴巴在2009年就開啟了雲計算的道路，並且以阿里小貸為起點開始了雲計算的摸索。然而，回頭去看，阿里小貸不僅僅是阿里雲的起點，也是數據中台的起點。
行在曾經多次在不同場合表述，阿里小貸項目通過數據實現了低風險高效率的小微金融，讓公司決策層達成共識：數據是生產要素，「基於數據才能夠產生阿里小貸這樣的創新業務；也只有在數據集中融合的基礎上，才能夠產生這種業務。」
這對於數據中台的誕生有重大意義。
以此為基礎，2012年，馬雲正式提出了「一切數據業務化，一切業務數據化」的數字化轉型理念，成為了阿里數據整合的開端。
對當時的阿里巴巴而言，通過構建業務中台，初步重構了面向消費者價值鏈的平台架構，在後台形成了業務模式復用的能力，但是，在數據上，每個消費者仍然歸屬於各自的平台，並沒有形成統一的消費者視角，平台對消費者也缺乏統一認知。
就在同一年，行在領銜TCIF（淘寶消費者信息工廠）項目，第一次通過 One ID 打通了阿里系所有平台的數據，並在此基礎上建立了3000個通用標籤。換句話說，不管消費者出現在阿里系哪個平台上，平台都能識別並還原消費者的特徵，真正意義上建立了人群定向的能力——圍繞消費者實現端到端的精準服務。
2015年，數據中台的 One Data 方法論成型，在此基礎上，行在創立了阿里雲數加，構建了現在的阿里數據中台Dataworks，第一次公開向客戶提供數據中台產品和服務。
在實踐過程中，行在形成了兩條認知：
第一，圍繞數據的「生產-消費」價值鏈條，傳統企業的業務架構和數據架構都有極大的優化空間，數據的市場非常廣大；
第二，數據對業務有價值，但數據能力要適配業務的需求，不能過於超前，「大炮打蚊子」的技術自嗨要不得，要圍繞業務需求來建設數據能力。
懷抱着讓「實體商家都擁有淘寶一樣的數據運營能力」的願景，2016年底，行在離開了阿里，和團隊一起開創了奇點雲，一家通過提供數據中台服務幫助企業數字化轉型的技術公司。
奇點雲的獨特之處在於，當其他同類公司都把中台賽道當成橫向的替代競爭領域時，奇點雲從一開始就是奔着幫助企業「縱向優化」建立一方數據價值鏈的思路，構建了整個端到端的交付能力。
如果我們打開數據「生產-消費」的鏈條，我們可以把整個數據價值鏈分成數據生產、數據採集、數據存儲、數據計算、數據治理和管理、數據服務、數據應用、數據智能應用等幾個大的模塊，簡化而言就是「存通用」三個主要環節。
奇點雲發現，傳統企業在過去的數字化轉型過程中，仍然採取橫向優化的思路，因此，儘管在三個環節上都有嘗試，但因為缺乏對數據價值鏈的認知，並沒有形成「以數據為中心」的縱向優化能力，換句話說，數據應用缺少端到端的業務服務能力。
其中：
-
存：核心是數據有和沒有的問題，比如購物中心，因為其二房東的商業模式，線下消費者數據趨近於無，需要先解決消費者數據的生產問題；
-
通：核心是數據打通和管理體系的缺失問題，比如車企，儘管擁有大量數據，但是受困於數據孤島和缺少數據治理，每年生產大量數據但缺少直接可用的數據資產；
-
用：核心是IT和業務缺少協作機制的問題，傳統企業的IT和業務部門常常處於分割的立場，IT投入和業務需求常出現脫節的情況，比如在某公司，IT部門做了一萬多個融合標籤，但是業務部門實際只使用了其中的三四個標籤，差距之大令人咋舌。
所以，從一開始，奇點雲就認為數據中台應該也必須是一個業務概念，必須要從業務需求出發，「以用帶通，以通促用」來賦能企業建設數據「生產-消費」的完整價值鏈，讓企業真正擁有縱向優化的平台能力。
「以用帶通，以通促用」的意思是，根據企業的業務目標和業務需求，來確定應該採集和存儲哪些數據，打通和治理哪些數據，分析和應用哪些數據，並在這個過程中形成統一的數據資產，促進企業數據能力的不斷復用和拓展，建設企業一方端到端的數據服務能力。
行在認為，只有這樣，數據中台才是一個完整的概念，「為了上中台而上中台」的項目因為不能產生業務可感知的價值，失敗概率極大。
從縱向優化的角度，數據中台真正要解決的是企業所處的價值鏈各個環節是否能夠統一視角，面向顧客，面向供應商和合作夥伴，乃至面向商品，並具備可復用的數據服務能力。
這註定需要在行業內的沉澱和積累，如果只是抱着橫向競爭的思路，不斷地跨行業去做中台交付，只能沉澱交付經驗，並不能真正幫助企業實現縱向優化。因此。奇點雲首先選擇了泛零售和政府企業服務領域作為核心領域來驗證自己端到端的服務體系。
四年過去，端到端的獨家服務思路也結出了豐碩成果。在泛零售領域，奇點雲服務了500+核心客戶，其中每個細分領域的TOP客戶50%以上都是奇點雲的客戶，包括LVMH、lululemon這樣的國際大牌都陸陸續續加入了品牌牆。迄今為止，奇點雲交付了200+的數據中台項目，零交付失敗。
03
數據網絡效應：
數據中台賽道增長的關鍵
過去幾年來，火山石資本董事總經理劉昊一直都在看消費和零售領域的互聯網創新項目，最近一兩年，他發現，國內的消費零售走得非常快，積累了大量的數據，需要在IT化和互聯網化的基礎上有更大的體系化突破能力。
劉昊認為，過去的純業務創新，更關注從0到1的突破，但是今天面臨線上電商化、線下數字化的現狀，需要線上線下一起推進，共同關注系統層面的效率最大化——公司上下「萬眾一心辦大事」在體系建設上最有效率，也更能幫助業務創新實現體系化突破。
在關注泛零售行業賦能的數據應用過程中，劉昊觀察並形成了三個數據的基本認知：
1. 數據應用的pattern（模型）是有價值的，可以通過標杆客戶訓練認知和模型，不斷地復用，來擴大企業的邊際優勢；
2. 數據應用需要形成良性循環，從定義客戶（可復用價值），到創造價值，再到正向促進客戶持續使用數據驗證價值；
3. 數據的企業服務要有可被量化的實際結果：投入多少成本，多久能收回成本，交付的結果能給客戶帶來多大提升。
隨着數據價值鏈上下摸索的過程中，數據中台自然而然地進入了劉昊的視野，在看了一圈項目之後，劉昊發現，奇點雲最符合他的三個認知：
第一，奇點雲想清楚了怎麼從客戶經驗中積累和復用方法論的問題，整體思考路徑比較統一，有所為有所不為；
第二，數據應用正在形成正向循環，從發掘數據持續積累的價值走向封裝成標準應用的價值；
第三，給客戶創造的價值可被驗證，客戶能說清楚帶來了什麼短期效果和長期效果。
更重要的是，他看到了數據網絡效應的增長前景。
「數據應用本身帶着一定的網絡效應，」劉昊說，「當數據不斷地在不同的單點上創造價值，越到後面，網絡效應就越強……數據打通層面能不能形成網絡效應決定了賽道什麼時候爆發。」
網絡效應眾所周知描述了網絡帶來的某種飛輪效應，那麼，什麼是數據網絡效應呢？
讓我們用一張圖來說明：
簡單來說，數據網絡效應並不是類似梅特卡夫效應這樣的節點擴張效應，而是建立在數據解決業務問題能力上形成的正向循環飛輪。
首先，最難的部分是如何通過冷啟動形成內圈閉環，也就是通過使用舊的數據分析和解決業務問題，並收集新的（改善）數據來解決新的業務問題，不斷循環往複形成迭代機制。這個過程並不能產生網絡效應，但這是網絡效應的基礎；
其次，要從數據「生產-消費」價值鏈的自動化開始，逐步走向智能化的數據應用模型復用。舉個例子，數據分析師在分析數據的時候，分成數據採集、數據清洗、數據透視和分析、數據可視化等幾個步驟，大部分傳統企業的數據分析師，有80%的精力都花在數據採集、數據清洗和數據可視化上，而真正應該投入精力去做的數據透視和分析，卻通常只佔了他們10%-20%的精力和時間。
奇點雲在給某集團提供數據服務的過程中，通過數據自動化採集、數據治理等手段，實現了秒級出具單據和T+1的報表產出，每天上午8點經理上班後就能看到前一天的業務結果，而原本所需要的時間分別為30分鐘和一周，僅此一項，就給集團貢獻了每年至少500萬的費用節省。
最後，數據應用最終一定指向智能應用，也就是讓人做人應該做的事情，機器做機器該做的事情，來減少人在高頻重複場景下的投入，降低人的使用難度，只有智能應用才真正驅動飛輪成型。
使用難度的降低，一方面會帶來使用數據解決問題能力的極大提升，用數據解決更多業務問題，另一方面也會帶來使用規模的提升，哪怕是一線的普通員工，也可以使用數據進行自我決策，也可以根據數據推薦結果來判斷如何服務當面的顧客。這兩者都會帶來更多的新數據來訓練智能應用，從而真正帶動飛輪的增長，產生數據網絡效應。
德同資本合伙人陸宏宇一直關注新消費和TMT領域，從2016年起就關注大數據的進展，包括阿里雲數加平台的最新實踐，但當時他認為大數據發展仍在早中期階段 ，信息化才是企業服務的第一步，數據中台需要更多觀察。
直到近一兩年，「數字化的滲透率提升、雲計算的滲透率升高、企業客戶對智能化意識的提升，大數據+AI的機會才真正到來」，特別對於零售客戶，疫情也推動了其數智化轉型進程。陸宏宇認為，只有沉澱行業經驗、規範交付體系、建立合作生態、打造品牌勢能，藉助渠道和快速交付能力，數據中台企業才能夠實現更快速的增長。奇點雲堅持初心，追求以客戶成功為基礎的穩健增長，已逐步構建起了自身的能力圈和護城河。
2020年9月，德同資本和火山石一起領投了年初以來一直盈利的奇點雲。在當年年末，奇點雲還獲位元組跳動領投B2輪，老股東IDG資本跟投。
04
數智未來：
從數據中台上雲到雲上數據中台
那麼，現在的數據中台就是「縱向優化」的終點了嗎？
奇點雲合伙人地雷並不這麼認為。
最近，他服務了一個企業客戶，客戶主營業務屬於跨國業務，採用了混合雲架構（私有雲+國內公有雲+國外公有雲），混合雲的計算性能低下，尋求奇點雲的幫助。
地雷診斷後發現，最直接的原因是企業的災備策略和雲的災備策略衝突了。舉例來說，該客戶的同一份數據，公有雲已經進行了「一備三」的災備，而企業自身因為混合雲架構也進行了「一備三」的災備，里外里就是九份災備。也就是說，客戶業務的一次數據計算，理論上只應該涉及三份備份，但實際上卻涉及了九份備份，原本按照三份備份設計的算力自然就不夠用了。
而且，這並不是孤例。
隨着越來越多的企業上雲，會出現更多跨平台跨國界的案例，企業上雲可能不只有一朵雲，而是兩朵甚至更多雲。
跨平台多雲，最大的麻煩在於數據應用的開發、部署和遷移。地雷表示，現在通用的數據架構並沒有充分運用雲的特性，仍然屬於「上雲」的範疇，帶來的麻煩在於：
第一，數據應用的開發、部署對雲環境有依賴性，同一個需求，阿里雲開發的數據應用和華為雲開發的數據應用並不相同，而且數據應用不能在多雲多領域間方便的遷移；
第二，彈性計算擴充資源的時候帶來極大的資源浪費，因為現在雲計算的售賣方式是把存儲節點和計算節點打包成一個虛擬機，如果企業算力不足，彈性擴充的時候購買的是一台台虛擬機，也就是說，企業如果需要購買30個計算節點，那麼，也會被迫購買30個存儲節點，這額外的30個存儲節點就屬於無效購買。
在地雷看來，過去基於數據中台的縱向優化方案，更多的應該稱為「數據中台上雲」，也即通過業務的數據架構優化，來解決數據能力復用和數據可信的問題；而未來的縱向優化方案，則可以稱為「雲上數據中台」，即完全基於雲計算的特性來設計數據架構，從存儲和計算分離開始，從業務、技術、組織三方來共同開展縱向優化，實現企業端到端的成本管控和能力輸出。
基於雲計算的特性，在技術領域被稱為「雲原生」，可以充分釋放雲的紅利：通過容器化來實現數據應用在多雲多領域間的方便遷移，解決異構環境的部署一致性問題、資源標準化問題，進一步降低了數據的使用門檻，為自動化和智能化服務打下良好的基礎；通過存儲和計算分離，充分利用雲的特性，增加數據中台彈性伸縮能力的同時，幫助客戶降低存儲成本到原來的1/3。
雲上數據中台才是未來。
在過去四年的實踐中，奇點雲完善了「數據中台上雲」的業務縱向優化方案，領跑泛零售數據中台，2021年，奇點雲已經開啟「雲上數據中台」的星辰大海，進一步在技術上領跑同行，真正開啟數據網絡效應的大門。
