基於星環大數據云平台 TDC 的一站式數據湖解決方案
隨著互聯網以及物聯網等技術的不斷發展，越來越多的數據被生產出來。基於 IDC 的報告預測，從 2013 年到 2020 年，全球數據量會從 4.4ZB 猛增到 44ZB，而到了 2025 年，全球會有 163ZB 的數據量，這些數據中蘊藏著不可估量的價值，從數據中挖掘價值創造新業務已經成為所有企業的共識。然而，**挖掘數據價值第一步，是要先把企業全域數據匯聚起來，讓數據真正成為企業的核心資產。**於是，企業級數據湖的建設，成為數據價值逐漸釋放的關鍵底座。
最初企業開始自建開源 Hadoop 數據湖架構，原始數據統一存放在 HDFS 系統上，引擎以 Hadoop 和 Spark 開源生態為主，存儲和計算一體。這種數據湖架構存在入門門檻高、開發維護困難、穩定性難以保障等明顯的缺點。企業急需一套一站式解決所有從數據湖建設到數據湖管理的解決方案。
基於星環 TDC
一站式建湖、入湖、治湖、用湖、管湖
一個完整的數據湖解決方案需要建立在數據接入、數據存儲、數據計算、數據應用、數據治理、元數據、數據品質、數據資源目錄、數據安全及數據審計等一些列技術之上。市場上的數據湖解決方案多數只具備部分能力，給企業建設數據湖帶來障礙。
基於星環科技大數據云平台 Transwarp Data Cloud（TDC）、星環大數據開發工具 Transwarp Data Studio （TDS）等產品的星環數據湖解決方案，能夠一站式解決企業從建湖到管湖全部過程，為企業管理和決策提供數據基礎與分析能力保障，助力企業發展。
在數據入湖階段，星環科技大數據整合工具 Transporter 負責將分散於各個地方、各種平台上的各種格式的數據同步或集成到大數據平台上，通過簡潔、統一的可視化介面快速配置數據流轉流程，實現異構平台和數據湖之間的數據流轉。
數據湖本身是一個中心化的存儲，需要存儲結構化、半結構化和非結構化數據。星環極速大數據平台 Transwarp Data Hub (TDH ) 內置關係型數據存儲引擎、寬表存儲引擎、搜索引擎、地理空間存儲引擎、圖存儲引擎、鍵值存儲引擎、事件存儲引擎和時序存儲引擎**8 種獨立的存儲引擎，支援業界主流的 10 種存儲模型。**用戶還可以根據業務的需要隨時增減不同的存儲引擎，做到資源按需分配，解決數據湖多模態數據存儲。
TDC 數據湖核心組件關係型分析引擎 Inceptor，具有完整的 SQL 支援、超高性能、分散式事務和混合負載支援的強大能力，支援多種數據格式、多種數據載入方式、海量多源異構數據的統一存儲和管理；寬表資料庫 Hyperbase，面向在線業務的資料庫，提供數據的實時增刪查改能力，並能確保庫內數據的一致性；搜索引擎 Scope 用於構建大數據搜索引擎，支援Word/Excel/PDF/CSV/互聯網數據/圖片/音影等非結構化數據格式的存儲和檢索；能夠在PB數據量級上實現秒級延遲的搜索功能；提供完整的 SQL 語法支援；實時流計算引擎Slipstream 提供實時計算能力，擁有完整的 SQL 支援，基於事件驅動的計算引擎可將延遲時間縮減到 5 毫秒以內。
在數據安全及數據審計能力上，基於星環科技安全組件 Guardian，TDC 數據湖**可為租戶提供可靠的認證機制，防範安全漏洞，**實現資源管理和行級列級的許可權控制，在雲環境下保護用戶隱私和資訊安全。
在數據治理、元數據、數據品質、數據資源目錄等能力上，**星環科技提供了集開發與治理為一體的一站式工具平台 TDS，提供了數據開發、數據集成、數據管控、數據商城和數據服務等能力。**TDS 的子產品涵蓋了：面向資料庫 SQL 程式開發者的桌面集成開發環境 Waterdrop、網頁版的團隊協作的 SQL 開發環境 SQLBook、可視化的 ETL 開發工具Transporter、數據計算任務的調度平台 Workflow、數據可視化工具 Pilot 、數據 API 的開發與管理工具 Midgard以及數據資產管理工具軟體 Catalog、數據品質管理工具 Governor、數據安全治理工具Transwarp Defensor、數據商城 Transwarp Foresight、數據服務開發工具 Midgard 和標籤開發工具 StarViewer。
星環 TDC 數據湖解決方案
在上海市大數據中心的落地實戰
基於星環數據云平台 TDC 為上海市大數據中心建設了上海市數據共享交換平台，上海市數據共享交換平台整體上包含市級數據共享交換子系統（含數據交換子系統、數據服務子系統、數據集成子系統等）、市級數據湖、市級資料庫、市級數據治理子系統、市級數據品質管理子系統等業務模組。其中：數據交換子系統實現數據交換引擎、統一調度引擎、任務管理、數據橋接等功能；市級數據湖匯聚「四大庫」、「市級統建系統」、「各市級委辦系統」、「各行政區系統」的經過初始治理的原始數據；數據集成子系統實現對數據湖數據的存儲管理、共享與交換，推送數據到治理平台，並建立與市級資料庫的連接；數據治理子系統與數據品質管理子系統實現數據元管理與數據品質管理；市級資料庫主要用於存放經過一系列清洗、轉換、載入、治理步驟後的高品質的政務數據資源，其數據來源主要來自數據湖；數據服務子系統主要提供市級資料庫中數據對外的服務發布與利用。
基於星環 TDC 建設的市級數據湖、市級資料庫，支撐「一網通辦」、「市民主頁」、隨申碼等數據服務。疫情期間，基於TDC一周內上線隨申碼，日均查詢次數峰值達715 w，上線僅四個半月，亮碼總次數達到10 億+。
目前，星環科技新一代智慧大數據云平台 Transwarp Data Cloud（TDC）已經在眾多行業有成熟的全方位解決方案落地，**滿足了各種數據處理場景的需求，實現了企業數據與應用的生態化建設。**未來星環將在數據云領域持續深耕，助力企業不斷提升大數據能力，引領企業數字化轉型升級浪潮。
