星環數據云平台 TDC 3.1 發佈,新增滾動重啟、存儲回收站等八大核心功能
近日,星環數據云平台 Transwarp Data Cloud (以下簡稱 TDC)正式推出 3.1 版本。TDC 是採用雲原生技術,融合星環科技全系產品打造的統一 PaaS 平台,可以為企業提供數據流通交易平台、企業湖倉一體數據湖、企業數據中台、聯邦雲、企業數字化轉型、政務大數據、雲原生數據科學雲和高並發數據應用八大解決方案,能夠滿足企業各種數據處理場景的需求,幫助企業實現企業數據與應用的生態化建設。截至目前 TDC 已經為政府、銀行、基金、能源等多個行業提供完整的數字化建設解決方案。
在星環科技 2022 年春季產品發佈周上,TDC 重磅發佈了 3.0 版本,提供了三大核心能力:第一,支持星環科技全系產品新版本,同時 PaaS 能力持續增強;第二,新增聯邦雲管理功能;第三,安全升級,新增隱私計算區。3.0 版本發佈以來被眾多客戶認可,是一套優秀的數據云平台。經過半年的打磨,TDC 再次推出 3.1 版本 ,此次的新版本新增了八大功能,同時對原有能力進行了優化升級!
新增滾動重啟、存儲擴容、存儲回收站等八大核心功能
滾動重啟,保障業務連續性
新增對多副本高可用角色(工作負載)的滾動重啟能力。將底層滾動重啟能力和業務重啟邏輯結合,在變更過程中,實現了分佈式系統的可靠自動有序重啟,保障在 TDC 上運行的大數據業務的運行連續性。
多種存儲擴容方式,滿足數據持續增長
支持對星環科技存儲引擎 TDFS、TDDMS 進行手動擴容存儲,擴容方式支持在線增加磁盤大小、增加磁盤個數、增加副本數。在擴容開始前系統將進行資源預檢,無論是否可以成功擴容,都不會影響原來業務運行,並且在擴容過程中可正常提供數據讀寫操作。
存儲回收站,避免數據誤刪
刪除 TDFS、TDDMS、KunDB 組件或所屬實例時,數據不會直接被刪除,可以選擇放入回收站,從而避免用戶誤操作刪除數據導致生產事故。支持展示租戶回收站內的存儲總量,並可按需一鍵清理並查詢清理記錄。
高性能網絡,滿足 TP 場景高性能需求
引入 Macvlan 高性能網絡,業務可按需開啟高性能網絡,滿足 KunDB 等對網絡性能的要求。相較於開源 Macvlan 網絡方案,TDC 的方案沒有物理網段的限制,可以任意自定義第二塊網卡使用的網段(包括物理網段,因此不需要申請額外申請固定的 IP 網段),並且能夠自動的提供第二塊網卡的服務發現,完整實現了底層 Kubernetes 的 Service 功能。
除此之外,TDC 的網絡能力還做了如下改進:
l 【VIP】虛擬 IP 支持綁定二層網絡下的節點集合(網絡可用區),虛擬 IP 將在選擇的可用區對應的網段中創建,從而可以做到外部流量不只是通過 master 節點進來,提高了集群處理外部流量的能力,也通過分散到不同節點提高了可用性。
l 【SLB】為組件配置 SLB 時可開啟流量轉發高性能網絡,開啟後訪問配置對象的流量將會被轉發至高性能網絡上,提升訪問性能。
聯邦雲網絡統一管理,更便捷聯通兩地集群
通過統一的域名解析體系實現聯邦雲集群之間的網絡連接與通信,打通底層多個集群之間的網絡。應用場景有:統一管理分佈式部署在不同集群上的數據庫實例,分散讀寫請求流量,提高讀寫效率,同時支撐在多個數據中心之間星環產品(例如 KunDB )的數據安全通信需求。在傳統跨機房通信中,是通過手工搭建的方式實現的,搭建過程比較繁瑣,耗費人力和時間,聯邦雲實現了自動的跨集群通信,更加便捷。
開源生態對接,更好滿足客戶多樣需求
實現開源 Spark 在 TDC 的上架和運行,並與星環科技大數據體系對接,以便更靈活滿足客戶使用場景以及支撐星環智能分析工具 Sophon:
l 支持在 TDC 上可視化部署 Spark,支持 HA 部署,支持通過運維入口查看歷史任務,支持資源擴容和縮容。
l 支持對接星環科技大數據安全管理軟件 Guardian,支持對接開啟安全的星環分佈式文件系統 TDFS。
GPU 分組,更靈活管理 GPU 資源
支持 GPU 分組,可以精細管理和調度 GPU 資源,不同工作負載或者租戶在使用時,可以指定分組的 GPU 卡資源,實現資源分組和配額管理。
高可用增強,提昇平台可靠性
針對客戶對於高可用的更高要求,TDC 從操作系統層開始進行梳理,並通過嚴格的高可用測試,改進了 TCOS 和 TDC 雲管平台,以及雲產品星環科技大數據開發工具 TDS 和智能分析工具 Sophon 的高可用能力,可以實現單組件副本、硬盤故障、網絡故障、控制單節點故障、工作多節點故障下,平台仍然可以正常對外服務。
同時,為了提升易用性,TDC 還新增了模塊化安裝功能,安裝 TDC 時可按需選裝所需系統服務,後續有需要時可通過 TDC 安裝工具按需部署。目前可選裝包括微服務引擎、DevOps、應用市場、數據市場模塊。
除新增功能外,TDC 本次升級也對原有功能進行了優化和升級,其中包括:
l 【統一用戶】TDC 各系統實現統一用戶、登錄和門戶,同時兼容原有租戶用戶管理模式,提升用戶登錄體驗。
l 【權限管控】增強 HDFS 權限管控,解決不同租戶的同名用戶權限不隔離的問題,實現多租戶共享 TDFS 目錄權限隔離,規範並實現上游組件在 TDFS/ Zookeeper/KunDB 創建不同路徑,同時支持白名單機制,實現跨租戶訪問 TDFS 權限由 Guardian 嚴格控制。
截至目前,星環科技數據云平台 TDC 已經在數十家大型企業落地,覆蓋多個行業。其中典型案例包括:為江蘇農信建設的大數據 DAAS 應用平台,提升了江蘇農信數據輸出服務能力;為上海大數據中心建設了上海市數據共享交換平台,為一網通辦、政府大屏、政務決策等政務應用提供支撐,有效提升政府部門辦事效率;為中化中化信息大數據平台建設提供了一站式的大數據解決方案,充分整合和管理企業各個系統全生命周期數據,快速挖掘數據背後的價值,綜合提升企業管理和運營能力。