雲原生的數據云,下一個十年的數字化轉型趨勢

數據量越龐大,數字化轉型的意義也就越大,但轉型這件事與企業內部多個技術部門緊密相關,它不是某一個單獨的團隊能夠獨立完成的任務,而是需要企業的業務部門、數據資產管理、開發應用等更多部門協同合作,因此,越是大型企業數字化轉型的難度就越複雜。企業需要打破傳統煙囪式架構設計,用全新的數據云模式來實現數字化轉型。

0
數據、應用、基礎設施—數字化轉型亟待解決的三大難題

對於企業而言數字化轉型包含三個要素:應用、數據和基礎設施。而目前階段,企業的每個要素都存在着不同的問題。

對於企業應用而言,不同的應用都是由不同團隊獨立建設、獨立開發的煙囪式架構,這種架構導致企業不得不重複造輪子,不但造成人力和資源的極大浪費,同時也增加了運維和管理的成本。

煙囪式架構設計導致的另外一個問題就是數據孤島現象,因為不同團隊各自建設應用,數據沒有打通,或者同一份數據在多個業務系統內保存,缺少統一標準,導致難以進行數據管控和質量提升,也難以從一個個孤島中挖掘數據的價值。

最後一個要素是基礎設施,企業在不同時期建設應用的時候,採用的基礎架構也不同,基礎設施多種多樣,包括傳統物理機部署、虛擬化部署、虛擬機部署、雲部署、雲原生部署等,基礎設施不統一,導致建設應用、歸集數據的壓力非常大。

02
大數據與雲技術的發展與融合

八九十年代時,企業應用多數是單體建設,基於獨立的數據庫、物理機或者虛擬化的方式。2000 年左右雲計算出現了,建設應用的模式也發生了變化,對數據而言,這個階段已經做到雲上的統一收集。2018 年之後,雲原生的概念發展起來,企業希望自己的應用是基於原生進行部署的,享受雲原生帶來的快速、彈性、靈活按需等能力。

對於大數據技術,已經從數據的統一歸集到了大數據 3.0 模式,從數據資產到價值再到數據服務化。而現在對基礎設施的要求就是能通過一套雲原生的基礎設施去承載企業的不同應用,收集企業的所有數據,進行企業數據化轉型的大數據底座的建設。

數據是企業非常重要的生產要素,數據和數據價值的演進也經過了四個階段:通過數據倉庫和數據庫對數據進行統一收集整理的數據統一化階段、通過數據治理形成高質量數據的數據業務化階段、通過數據智能與分析實現數據資產化的階段以及通過數據共享交易實現數據的生態化階段。

隨着數據價值的演進,大數據和雲技術也在不斷演進以適應這種數據價值的挖掘,大數據的發展鏈條是從 2004年Google 提出大數據分佈式計算框架 MapReduce,到加州大學伯克利分校的AMP實驗室所開源的專為大規模數據處理而設計的快速通用的計算引擎Spark,到後來出現的低延時流處理引擎 Flink等更多機器學習框架大量湧現,處理大數據量大、快速等的特定需求。2017 年星環科技發佈了首個基於容器雲的極速大數據平台 Transwarp Data Hub。與此同時,雲的技術也在不斷演進,從開源的雲計算管理平台項目 OpenStack到開源的應用容器引擎 Docker 再到現在基於K8S等技術的雲原生。

2018 年星環科技,把大數據和雲這兩條技術進行了融合,星環基於底層雲原生基礎設施平台,把大數據進行了容器化部署和雲原生調度,形成了星環數據云TDC,數據云是以新一代雲原生技術為基礎,以數據為中心,供完整的數據應用以及分析的開發工具,形成數據和應用互聯互通的企業級雲服務。


03
數據云,未來5-10年企業數字化基礎設施

隨着技術的進步和業務需求演進,企業的應用、數據、基礎設施都在不停地迭代,這種迭代也促使數據云從概念走向落地。星環基於雲原生的數據云 TDC 實現了數據 PaaS、應用PaaS、分析 PaaS 三雲融合,未來企業的開發人員,就可以在這個標準化的 PaaS 服務之上完成 SaaS 應用的開發,而這也是將來 5-10年企業數字化基礎設施建設的新模式。

TDC 的聯邦雲架構兼容多種基礎設置,可以將企業私有雲、公有雲以及私有雲和公有雲混合基礎設施進行統一接入和統一納管,可利舊併兼容已建設的 IaaS 基礎設置,形成完整的雲基礎設施,能夠支持企業級數據應用雲平台的長期演進。

在雲在基礎設施之上提供了數據 PaaS、分析 PaaS、應用 PaaS 能力。TDC 分析 PaaS提供了數據科學平台、知識圖譜平台等智能分析工具,通過分析 PaaS 企業可以自主建模形成一些智能化應用;TDC 的應用 PaaS 提供了應用市場和應用開發平台供企業應用開發人員使用,通過應用 PaaS 企業可以建設不同的業務系統服務不同的部門;TDC的數據 PaaS 是提供大數據平台、大數據開發工具等,通過數據 PaaS 可以解決大數據開發、大數據治理等問題。

除此之外,TDC 提供了數據云管理平台Transwarp  Data Cloud Management Platform,有了這個數據云管理平台企業用戶就可以自服務的對大數據產品進行部署、運維、安裝、擴容、升級。在雲管理平台上星環把開源的以及星環自有的產品打包成一個自服務的產品,提供給最終用戶。

未來,隨着業務端人員對數據服務的需求越來越多,企業需要開發大量新的數據應用來持續的迭代業務,改進用戶體驗,這其中就包括實時類、AI類、在線數據類業務的大量創新和嘗試。

而面對這樣的趨勢,唯有通過數據云的分層設計和更優秀數據建模,以及提供多種不同的數據計算能力才能夠滿足,數據云 TDC 可以根據業務負載進行彈性的伸縮,最終需要雲計算技術來支持彈性、靈活的數據服務和應用。

企業未來 5-10 年的數字化轉型之路,唯有以數據為核心,實現數據的互聯互通,才能不斷重構和升級數字化基礎設施的建設新模式,以此作為創新與變革的支撐,實現企業數字化轉型的升級和迭代。