星環科技多模型數據統一存儲的大數據分散式存儲平台方案分享
數字經濟時代，隨著大數據、人工智慧等新一代資訊技術的快速發展與應用，企業的數據量呈現爆炸式增長，數據結構也越來越多樣化，對數據存儲提出了更新的要求：
-
數據結構多樣化如表格類型的關係數據、半結構化的文檔日誌搜索以及非結構化的圖片和影片數據，多模型存儲需求應運而生。
-
非結構化數據的快速增長，對象存儲的優勢逐漸顯現，並要求能夠低成本實現海量非結構數據的存儲。
-
此外，傳統數據存儲平台需要同時存儲大文件和小文件，業務的高速發展帶來海量文件存儲需求對存儲平台提出了更高的性能要求。
面對業務多樣化對大數據存儲提出的新要求，星環科技自主研發了多模型數據統一存儲的大數據分散式存儲管理平台，可同時滿足多模型數據存儲和海量文件存儲等需求。
基於多模型數據統一存儲技術可實現PB級多模型數據統一存儲，9種存儲引擎支援10種數據模型，輕鬆實現跨模型聯合分析，一站式滿足企業業務各種場景。自主研發的分散式文件系統打破HDFS的存儲瓶頸，實現海量小文件存儲，可同時支援文件和對象存儲，降低運維成本，並且兼容開源Hadoop生態，支援應用平滑遷移。
多模型存儲星環多模型數據統一分散式存儲管理
傳統存儲平台方案將多個模型存儲系統進行組合，各單一場景由各類專門資料庫分別支撐，這類方案存在數據存儲冗餘、數據一致性治理難等問題，並且多套存儲導致架構複雜、運維成本高、數據跨庫分析難。
星環科技多模型數據統一存儲平台方案實現多模型數據的統一存儲，基於統一多模型架構提供多模型能力。
星環科技自主研發的統一分散式數據管理系統TDDMS，該系統搭建了一個通用的分散式存儲處理框架，提供了數據的分布管理、元資訊管理、分散式事務、分散式一致性協議以及數據高可用保障。
同時TDDMS支援接入不同的存儲引擎，實現不同數據模型的存儲。當前TDH分散式數據管理系統接入了9款存儲引擎，支援10種數據模型的存儲。用戶不需要為不同模型建立單獨的存儲系統，而是通過統一的存儲管理，降低了運維管理成本，也避免了數據孤島。
此外，分散式數據管理系統的插件特性，也方便後續業務的靈活擴展，可以根據需要靈活接入其他存儲引擎，比如TDH9.0版本中，根據文檔處理的新需求，新接入了文檔存儲引擎DocStore。
- 多模型支援
基於統一多模型架構支援關係型數據存儲、寬表存儲、搜索引擎、事件存儲、地理空間存儲、圖存儲、鍵值存儲、文檔存儲、對象存儲和時序數據存儲，共10種數據模型，滿足企業各類業務場景。
- 多模型統一存儲
不同模型數據基於星環分散式數據管理系統TDDMS統一存儲統一管理，降低運維成本，避免數據孤島。
- 統一數據查詢入口
統一介面處理不同業務、不同模型數據，避免多個不同介面的不一致，降低開發成本，避免煙囪式建設。
- 高可靠、高容錯
基於星環分散式數據管理系統TDDMS實現統一數據多副本管理，數據一致性管理，保障數據安全。支援副本自動遷移，自動修復，具備高容錯性，保障服務高可靠。
海量文件+對象存儲星環分散式文件系統
傳統數據存儲平台需要同時存儲海量大文件和小文件。HDFS文件存儲容量受限，不支援海量小文件，需要額外搭建對象存儲平台，多套存儲運維成本高。並且HDFS依賴建立多個Namespace擴展文件存儲容量，數據不互通，業務層需要隨著擴容更改邏輯。
星環科技自主設計研發了企業級分散式文件系統TDFS，海量小文件存儲無瓶頸，同時支援文件和對象存儲，並且兼容Hadoop生態，支援應用平滑遷移。
- 同時支援文件與對象存儲
星環分散式文件系統TDFS一套存儲同時支援文件存儲與對象存儲，統一存儲管理，降低運維成本
- 海量文件存儲
TDFS支撐10億以上文件數，PB級以上存儲容量，是開源HDFS 數倍
- 元數據管理能力
自研元數據管理，基於Raft一致性協議保障元數據安全。支援小文件與小文件一起存儲，無懼海量小文件，無需多namesapce拆分
- 生態兼容
兼容開源Hadoop生態，支援HDFS API與S3介面，支撐應用平滑遷移
企業級一站式多模型大數據基礎平台 Transwarp Data Hub
Transwarp Data Hub（TDH） 是星環科技自主研發的企業級一站式多模型大數據基礎平台，其領先的多模型技術架構提供統一的介面層，統一的計算引擎層，統一的分散式存儲管理層，統一的資源調度層，以及異構存儲引擎層。9種異構存儲引擎可以支援包括關係表、文本、時空地理、圖數據、文檔、時序等在內的10種數據模型。存算解耦特性支援彈性擴展，讓資源配置更靈活。
TDH能夠存儲 PB 級別的海量數據，同時能夠提供高性能的查詢搜索、實時分析、統計分析、預測性分析等數據分析功能，被廣泛應用在離線數據批處理、高並發的在線數據服務、數據集市、數據倉庫、數據湖、圖存儲分析、空間數據存儲、實時數據處理等各類大數據業務場景。
目前 TDH 已經在政府、金融、能源、製造業等十多個行業內落地，可以替代Oracle、IBM DB2、Teradata等傳統主流資料庫在分析型場景中的應用及替代Elastic Search在分散式搜索場景中的應用，幫助企業，更全面、更便捷、更智慧、更安全地運用數據，加速企業數字化轉型。
