星環科技TDS 2.4.0 發布: 數據開發、數據治理、數據運營套件能力再次升級

動圖封面

近日,星環科技大數據開發工具 Transwarp Data Studio 2.4.0版本重磅發布,新版本中數據開發、數據治理、數據運營三大套件能力全部升級,讓數據開發更便捷、數據治理更高效、數據運營更智慧。本次升級的核心能力如下:

數據開發套件,助力企業完成數據統一化

數據開發套件包含了大數據整合工具 Transporter、資料庫在線開發與協同工具 SQLBook 和任務調度軟體 Workflow ,該套件作為星環科技大數據基礎平台 Transwarp Data Hub 的生態開發應用工具,針對數據開發場景,提供數據集成、SQL 開發和任務調度的能力,幫助企業將數據歸集到數據湖倉,完成數據統一化的過程。

在 2.4.0 版本中數據開發套件進行了如下更新:

  • 任務流調度模組新增了 Python , JAVA , R , Scala 類型任務調度能力支援;增加自定義日曆能力,任務可以在日曆下進行調度執行;增強參數能力,新增工作區參數,加密參數,臨時參數,支援參數跨服務、任務流引用和傳遞;支援非容器化部署執行器;
  • 數據集成模組新增支援文本文件、Excel文件的離線數據載入;對接告警中心,支援添加告警規則,並支援郵件,站內信,簡訊發送;支援在目標端配置自動創建分區表等;
  • SQL 開發模組新增函數管理能力以及 SQL 參數能力。

數據開發套件的三大核心優勢:

  • 分散式架構設計,可支援PB級別的數據平台建設,支援日均十萬級任務調度,性能可擴展;
  • 支援 SQ L關鍵詞和 SQL 片段推薦,數據開發知識積累,智慧化持續優化開發體驗和開發效率;
  • 基於大數據平台計算能力提供數據轉換能力,避免傳統ETL工具本身的計算瓶頸。

數據治理套件,完成數據資產化

數據治理套件,針對企業過去資訊系統煙囪式的構建方式以及數據開發和管理過程不規範的問題,提供數據治理能力,幫忙企業進行數據資產盤點、數據標準統一和解決數據品質問題,完成數據資產化的過程。

TDS 的數據治理套件作是基於星環數據治理諮詢方法論的、一站式的面向企業各類資訊系統的數據管控平台,集成元數據管理、數據標準管理、數據質管理量等模組,提供全生命周期數據治理能力。

在 2.4.0 版本中數據治理套件進行了如下更新:

  • 數據治理模組新增數據模型管理能力,提供邏輯模型和物理模型的開發和管理能力;
  • 元數據模組增強元數據自動採集範圍,新增支援 KunDB、達夢、SAP HANA 等數據源類型;支援批量訂閱元數據;
  • 數據標準模組新增主數據標準類別;優化品質檢查報告和落標檢查報告,提供維護人員和治理人員兩種視角的報告內容和入口;數據品質模組新增支援在品質任務中自定義配置品質參數值功能;
  • 數據治理套件各模組各類型任務接入通知中心,支援多種通知渠道以及通知觸發條件配置;

數治理套件的核心優勢

  • 可以事前通過 TDS 內置知識庫,對行業文獻、企業內部知識文檔以及已有的數據標準、標規則內容,進行智慧解析和知識沉澱,擴大數據標準對標的支撐業務主題範圍,提高推薦準確率。同時,可以根據用戶對推薦結果的判定行為對智慧推薦演算法進行自動化迭代和優化;
  • TDS 數據治理套件是一站式產品架構,由完整的數據治理功能模組組成,並集成至統一平台中,各功能模組根據數據治理方法論有機的形成功能聯動和流程,提供一站式工具應用體驗;
  • TDS 數據治理套件提供基於星環大數據技術的數據治理任務執行能力,高效完成數據治理作業。

數據運營套件,助力數據運營平台建設

數據運營套件包含:數據服務平台 Midgard、標籤平台 Starviewer、數據商城 Foresight。提供數據標籤體系構建和自助取數,直接對接數字化轉型應用的 API 開發和管理,並能將上述套件產生的數據產品在統一的共享門戶中進行企業內部共享交換,將企業各類型數據資產以分析、服務和共享的方式提供服務,發揮資產價值,最終支撐數字化轉型相關應用,完成數據業務化的過程,並提供數據資產共享交互,構建企業數據生態化,助力數據運營平台建設。

在 2.4.0版本中數據運營套件進行了如下更新:

  • 數據服務模組新增 SQL 模式創建 API,支援查詢類 SQL 和非查詢類 SQL;支援管理業務分組,對 API 資源進行隔離和管控;新增API路由配置;
  • 數據商城模組新增支援對資源編目進行可見範圍控制,支援按照機構粒度選擇可見範圍;支援的資源類型擴展,新增數據標籤、非結構化文件兩類資源;支援配置資源的共享類型(有條件共享/無條件共享);
  • 新增數據標籤開發平台模組,提供多種類型標籤的開發、管理、發布、下線等生命周期管理能力,提供基本的標籤數據分析能力;提供將發布後的標籤數據在數據商城提供對外共享的能力;

目前,星環科技 TDS 已經在金融、能源、政府、醫療等多個行業落地,海洋石油富島公司藉助 TDS,建設了大數據技術平台及體系化的數據資產管理平台,實現技術業務化、數據業務化,實現化工生產過程的降本增效,推進公司數字化轉型;某醫學大數據研究平台通過 TDS 的數據資產定義、資產目錄建立、數據溯源、數據全程監控及資產評估改進工具,實現數據資產的全生命管理,為研究所構建了高性能、高可靠性、高安全性及可擴展性的醫學大數據研究平台,實現了醫療數據的規範化、流程化、品質化,幫助研究所專業的醫學數據分析團隊高效挖掘病歷樣本等科研數據的價值,落地科研業務,保障科研進度的穩步推進;華夏基金基於TDS,融合了 TA(Transfer Agent開放式基金登記過戶)系統、OTS(Online Trading System 網上交易)系統、反洗錢系統、會計系統、資訊系統、交易系統及直銷和代銷數據,為營銷數據中心、反洗錢系統、投研指標系統、數據分析等業務應用建立了數倉、數集及專用庫,對投研指標系統相關數據進行了遷移與整合,為華夏基金構建基於大數據等技術的統一分析數倉打下了平台基礎。

Tags: