TDH社區版上新寬表資料庫Hyperbase,輕鬆實現海量數據的毫秒級精確檢索

動圖封面

日前,為了降低用戶接觸使用大數據技術的門檻以及成本,星環科技推出TDH社區版(Transwarp Data Hub Community Edition)來幫助企業用戶、高校師生、科研機構以及其他專業開發人更簡單、更便捷的進行大數據分析。為了滿足更多用戶在存儲以及高並發點查方面的需求, 此次TDH社區版推出了星環科技自主研發的NoSQL寬表資料庫Transwarp Hyperbase。

Transwarp Hyperbase介紹

Hyperbase是什麼

Transwarp Hyperbase 是星環科技自主研發的NoSQL寬表資料庫,支撐百萬級高並發、毫秒級低延時業務需求。支援結構化數據,及文本、影像、影片、對象等非結構化數據的存儲;支援全文索引、二級索引等索引技術;提供多租戶管理;支援SQL標準語法,併兼容開源HBase。Hyperbase幫助用戶快速開發歷史數據查詢、業務在線檢索等應用。

為什麼選擇Hyperbase

關係資料庫已經流行很多年,儘管Hadoop可以很好地解決大規模數據的離線批量處理問題,但是,受限於MapReduce編程框架的高延遲數據處理機制,使得Hadoop無法滿足大規模數據實時處理應用的需求。

傳統的通用關係型資料庫無法應對在數據規模劇增時導致的系統擴展性和性能問題(分庫分表也不能很好解決),很難實現橫向擴展,縱向擴展的空間也比較有限。

Hyperbase能夠輕易地通過在集群中增加或者減少硬體數量來實現性能的伸縮,提升集群的運行速度以及處理能力,輕鬆應對百萬級高並發的查詢業務。

不同於傳統的關係型資料庫,Hyperbase採用列式存儲模式,每個列族都由幾個文件保存,不同列族的文件是分離的,對Schema的限制很少,用戶可以動態增加存儲列,因此對存儲半結構化數據非常有利。基於文件存儲系統,進一步實現了對海量、多種類數據的存儲與管理。

目前,Hyperbase已經成功應用於互聯網服務和傳統行業的眾多在線數據分析處理系統等場景。

支援的功能

社區版針對不同模式提供相應的功能,其中訂閱模式將提供全功能的Hyperbase以及更高級別的技術支援。具體支援的功能如下:

應用場景

Hyperbase具備海量結構化與非結構化數據的存儲能力,通過支援超高並發CRUD,可以實現高速的數據入庫。其極具優勢的查詢能力可以滿足用戶日常數據秒級查詢與分析的需求,搭配社區版提供的Inceptor關係型分析引擎可以幫助用戶實現離線分析,批處理等場景。

通過搭配其他星環組件還可以實現以下開發場景:

歷史資訊記錄查詢場景

電信、銀行領域歷史訂單支付交易記錄,賣家操作日誌和用戶轉發、評論及點贊等行為記錄

列式稀疏矩陣業務

智慧推薦、商務智慧或營銷引擎等領域的用戶畫像,標籤數據

海量用戶社交資訊流數據

微博、朋友圈增量捕獲用戶交互數據feed資訊流

對象存儲場景

車輛違章監控拍照、人臉資訊採集保存、健康碼等

注意事項

  • 在下載完Hyperbase產品包後需要先提前上傳Transwarp basic產品包並安裝好zookeeper,yarn,hdfs服務。<Transwarp basic產品包名稱:TDH-CE-ImageFiles-2022-4-final.tar>
  • 當您安裝部署好社區版後,manager會默認提供兩周的試用License,試用License不支援Hyperbase使用。因此如果要部署社區版hyperbase,您必須在線申請社區版License。

License申請教程://community.transwarp.cn/question?questionId=13

總結

以上就是此次社區版Hyperbase的整體介紹。依託星環科技深厚的技術底蘊,TDH社區版旨在降低大數據技術的使用門檻以及使用成本,為用戶提供更輕量、更便捷的數據分析開發環境,方便更多企業、科研機構、高校等用戶快速上手大數據技術。

Tags: