從馬克思觀點來看數據中台與數據平台的不同,這次清楚多了

就在前幾年,人們在說"數據平台"四個字的時候,都是信手拈來,不用去想這四個字到底是什麼含義,也不會產生什麼思維上的混亂。

這種思想上的默契,在2019年被徹底打破了。來攪局的,正是耳熟能詳、方興未艾的「數據中台」。

於是,朋友們就開始思考中台到底比平台先進在哪裡,一定要給出個說法,目前有兩個常見的觀點:

  1. 萬能分層輪:數據中台在數據平台的上一層,數據平台提供基礎設施,數據中台與業務對接。
  2. 陰謀論:數據中台是新瓶裝舊酒,數據中台就是穿了馬甲的數據平台。正如,數據挖掘、機器學習、AI的這三兄弟,其實都是一碼事。

這些解釋還算很差強人意,但聽半天卻也沒有什麼心得和收穫。有的解釋變成了名次的循環解釋和文字遊戲,更有甚者,開始從"平"字和「中」字上做文章,一定要找出點差別來,這就不多說了…

1. 從歷史階段來看大數據發展史

我們不妨把眼光放的更長遠一些,數據倉庫、數據平台、數據中台的迭次出現,本身就形成了一部大數據發展史。

數據倉庫是90年代在BI(商業智慧)的時代背景下的一個產物,主要目標就是為了支援數據分析,因此報表或OLAP工具都是BI/數倉的標配。為了更好的支援數據分析,就需要一種有效的手段去組織數據,即數據倉庫建模方法論。

點一下KimBall、Inmon兩位大神的名字,不熟悉的朋友可以搜索下,你會收穫很多。

2010年前後,隨著互聯網的興起,人們對數據分析的訴求越來越多,與數據相關的系統越來越複雜,主要體現在:

  1. 數據源種類越來越多,除了傳統資料庫,NoSQL庫、圖庫、日誌、半格式化數據廣泛出現在業務系統中。收集這些系統中的數據,本身就面臨種種挑戰
  2. 數據需要進行的預處理逐漸增多,與這些預處理任務相關的腳本的執行和任務編排/調度變得越來越複雜
  3. 數據分析系統越來越多樣,如數據導出到NoSQL庫、圖庫、甚至快取,數據在倉庫和這些系統之間的流轉越來越複雜,甚至只有少數的數倉專家能勝任。

人們發現,急需一套完整的系統,從異構源數據的採集、數據ETL程式碼開發與管理、任務調度、監控、數據同步等等方方面面的功能、或模組有機的整合起來,最好能夠無縫對接,從而降低數據加工處理的複雜性。

這一套應運而生的、有機整合的工具鏈系統就是數據平台。

可以這麼說,在數據倉庫階段,人們已經認識到了大數據的價值,並從數據建設的角度出發,完成了數據歸集和整理。所以我認為數據倉庫時代,就是大數據資產化的時代

數據平台,從工具鏈的角度,整合了零散的各種數據工具,進一步降低了數據的使用門檻。數據平台就是數據工具的平台化時代

數據倉庫以數據為目標、數據平台以工具為目標這種格局持續到2018年。

2018年前後,互聯網企業逐漸寡頭化、流量紅利見頂之後,各大陣營開始從粗放的流量運營向精細化的用戶運營轉變

隨著對數據需求的加大和加深,如:阿里的全域營銷,需要能夠橫向看到優酷、天貓、淘寶、蝦米等各業務線的數據。

此時,才發現之前按照部門、或業務線分別建設的數據倉庫其實是一個個的數據孤島,由於缺乏驅動力,數據並沒有融通。

數據和系統建設需要以業務場景為驅動,改變原有的純數據視角或純工具視角,支援業務才是最終目標,因此業務就變成了前台,數據與工具建設就變成了背後的中台。

這個變化乍一看變化不大, 事實上數據中台對現有架構的改變,比想像中要大很多:

  • 數據建設需要從業務視角出發,要打破煙囪,也會打破原來的利益格局
  • 原來把工具做好,等人上門來用就好了。現在不行了,業務方要的是數據服務,中台需要更向前一步,把數據服務做好,並且還要考慮復用性。
  • 但是跟業務方貼的太緊了呢,跟業務系統怎麼分,如何做到可以支援多業務,這裡面的分寸該怎麼拿捏?

因此,數據中台是以業務為導向和目標的,但又要足夠抽象、以便能儘可能支援更多的場景和業務。

從數據角度來說,數據中台需要做到全局打破煙囪、統一建設、有機融合;從系統角度來說,數據中台需要在各個環節減少不必要的阻塞和"協同",允許用戶自助式的通過數據服務獲取和使用數據。

2. 沒有哪個更優秀,只是發展階段的歷史使命不同

那是不是說數據中台就比數據平台更有優勢、更優秀呢?其實不能這麼看,他們所處的歷史時期和使命不同。

這個歷史時期需要跟你所在企業的相匹配,才能做出正確的選擇。如果跨越階段,大幹快上搞中台,費時費力不說,還可能成為笑柄,如:

搞中台的不知道業務目標、業務在野蠻增長階段,好像對大數據也沒有那麼強烈的訴求,你說這事能不爛尾么….萬萬不可東施效顰。

3. 數據平台不會自行演變成數據中台,需要外在力量

既然都已經是中台時代了,是不是我的數據系統天生就是數據中台了,就好像在64位機時代,閉著眼選的CPU也不會是32位一樣?

也不能這麼看,根據之前的探討,數據倉庫和數據平台有它的歷史使命,即使你的目標就是建數據中台,數據倉庫不還是要建設的么,數據倉庫和數據平台都是數據中台的基礎,他們是以一種新的形態和理念呈現在數據中台中的。

4. 從馬克思的觀點看數據中台和未來趨勢

從馬克思政治經濟學的角度,根據生產關係的性質,人類社會可以劃分為原始社會、奴隸社會、封建社會、資本主義、共產主義等。

大數據和業務之間的關係,大致也可以有這個類比,大數據從可有可無、錦上添花、到雪中送炭的認知升級,就是這個關係演變的體現,我們甚至可以推測一下數據中台之後的一個歷史階段,大數據和業務會是個怎麼樣的關係。

關於這一點,請繼續關注居士的文章:)