星環數據云平台 TDC 3.1 發布,新增滾動重啟、存儲回收站等八大核心功能

近日,星環數據云平台 Transwarp Data Cloud (以下簡稱 TDC)正式推出 3.1 版本。TDC 是採用雲原生技術,融合星環科技全系產品打造的統一 PaaS 平台,可以為企業提供數據流通交易平台、企業湖倉一體數據湖、企業數據中台、聯邦雲、企業數字化轉型、政務大數據、雲原生數據科學雲和高並發數據應用八大解決方案,能夠滿足企業各種數據處理場景的需求,幫助企業實現企業數據與應用的生態化建設。截至目前 TDC 已經為政府、銀行、基金、能源等多個行業提供完整的數字化建設解決方案。

在星環科技 2022 年春季產品發布周上,TDC 重磅發布了 3.0 版本,提供了三大核心能力:第一,支援星環科技全系產品新版本,同時 PaaS 能力持續增強;第二,新增聯邦雲管理功能;第三,安全升級,新增隱私計算區。3.0 版本發布以來被眾多客戶認可,是一套優秀的數據云平台。經過半年的打磨,TDC 再次推出 3.1 版本 ,此次的新版本新增了八大功能,同時對原有能力進行了優化升級!

新增滾動重啟、存儲擴容、存儲回收站等八大核心功能

滾動重啟,保障業務連續性

新增對多副本高可用角色(工作負載)的滾動重啟能力。將底層滾動重啟能力和業務重啟邏輯結合,在變更過程中,實現了分散式系統的可靠自動有序重啟,保障在 TDC 上運行的大數據業務的運行連續性。

多種存儲擴容方式,滿足數據持續增長

支援對星環科技存儲引擎 TDFS、TDDMS 進行手動擴容存儲,擴容方式支援在線增加磁碟大小、增加磁碟個數、增加副本數。在擴容開始前系統將進行資源預檢,無論是否可以成功擴容,都不會影響原來業務運行,並且在擴容過程中可正常提供數據讀寫操作。

存儲回收站,避免數據誤刪

刪除 TDFS、TDDMS、KunDB 組件或所屬實例時,數據不會直接被刪除,可以選擇放入回收站,從而避免用戶誤操作刪除數據導致生產事故。支援展示租戶回收站內的存儲總量,並可按需一鍵清理並查詢清理記錄。

高性能網路,滿足 TP 場景高性能需求

引入 Macvlan 高性能網路,業務可按需開啟高性能網路,滿足 KunDB 等對網路性能的要求。相較於開源 Macvlan 網路方案,TDC 的方案沒有物理網段的限制,可以任意自定義第二塊網卡使用的網段(包括物理網段,因此不需要申請額外申請固定的 IP 網段),並且能夠自動的提供第二塊網卡的服務發現,完整實現了底層 Kubernetes 的 Service 功能。

除此之外,TDC 的網路能力還做了如下改進:

l 【VIP】虛擬 IP 支援綁定二層網路下的節點集合(網路可用區),虛擬 IP 將在選擇的可用區對應的網段中創建,從而可以做到外部流量不只是通過 master 節點進來,提高了集群處理外部流量的能力,也通過分散到不同節點提高了可用性。

l 【SLB】為組件配置 SLB 時可開啟流量轉發高性能網路,開啟後訪問配置對象的流量將會被轉發至高性能網路上,提升訪問性能。

聯邦雲網路統一管理,更便捷聯通兩地集群

通過統一的域名解析體系實現聯邦雲集群之間的網路連接與通訊,打通底層多個集群之間的網路。應用場景有:統一管理分散式部署在不同集群上的資料庫實例,分散讀寫請求流量,提高讀寫效率,同時支撐在多個數據中心之間星環產品(例如 KunDB )的數據安全通訊需求。在傳統跨機房通訊中,是通過手工搭建的方式實現的,搭建過程比較繁瑣,耗費人力和時間,聯邦雲實現了自動的跨集群通訊,更加便捷。

開源生態對接,更好滿足客戶多樣需求

實現開源 Spark 在 TDC 的上架和運行,並與星環科技大數據體系對接,以便更靈活滿足客戶使用場景以及支撐星環智慧分析工具 Sophon:

l 支援在 TDC 上可視化部署 Spark,支援 HA 部署,支援通過運維入口查看歷史任務,支援資源擴容和縮容。

l 支援對接星環科技大數據安全管理軟體 Guardian,支援對接開啟安全的星環分散式文件系統 TDFS。

GPU 分組,更靈活管理 GPU 資源

支援 GPU 分組,可以精細管理和調度 GPU 資源,不同工作負載或者租戶在使用時,可以指定分組的 GPU 卡資源,實現資源分組和配額管理。

高可用增強,提昇平台可靠性

針對客戶對於高可用的更高要求,TDC 從作業系統層開始進行梳理,並通過嚴格的高可用測試,改進了 TCOS 和 TDC 雲管平台,以及雲產品星環科技大數據開發工具 TDS 和智慧分析工具 Sophon 的高可用能力,可以實現單組件副本、硬碟故障、網路故障、控制單節點故障、工作多節點故障下,平台仍然可以正常對外服務。

同時,為了提升易用性,TDC 還新增了模組化安裝功能,安裝 TDC 時可按需選裝所需系統服務,後續有需要時可通過 TDC 安裝工具按需部署。目前可選裝包括微服務引擎、DevOps、應用市場、數據市場模組。

除新增功能外,TDC 本次升級也對原有功能進行了優化和升級,其中包括:

l 【統一用戶】TDC 各系統實現統一用戶、登錄和門戶,同時兼容原有租戶用戶管理模式,提升用戶登錄體驗。

l 【許可權管控】增強 HDFS 許可權管控,解決不同租戶的同名用戶許可權不隔離的問題,實現多租戶共享 TDFS 目錄許可權隔離,規範並實現上游組件在 TDFS/ Zookeeper/KunDB 創建不同路徑,同時支援白名單機制,實現跨租戶訪問 TDFS 許可權由 Guardian 嚴格控制。

截至目前,星環科技數據云平台 TDC 已經在數十家大型企業落地,覆蓋多個行業。其中典型案例包括:為江蘇農信建設的大數據 DAAS 應用平台,提升了江蘇農信數據輸出服務能力;為上海大數據中心建設了上海市數據共享交換平台,為一網通辦、政府大屏、政務決策等政務應用提供支撐,有效提升政府部門辦事效率;為中化中化資訊大數據平台建設提供了一站式的大數據解決方案,充分整合和管理企業各個系統全生命周期數據,快速挖掘數據背後的價值,綜合提升企業管理和運營能力。

Tags: