ArgoDB 5.1 正式發佈:多模融合、實時分析和數據安全多重升級

動圖封面

Transwarp ArgoDB是星環科技自主研發的高性能分佈式分析型數據庫,在PB級數據量上提供極致的數據分析能力。ArgoDB支持標準SQL語法和分佈式事務,提供高並發高速數據寫入、複雜查詢、多模分析、數據聯邦、隱私計算和動態脫敏等能力。基於星環科技ArgoDB數據庫,可以打造一站式離線數據倉庫、實時數據倉庫、數據集市和聯邦計算平台等數據分析系統,為企業提供全面、便捷、智能和安全的數據服務能力。
2022年7月中國信通院發佈《數據庫發展研究報告(2022年)》,報告指出未來五年,數據庫技術有九大細分發展方向,其中就包括多模數據管理。此外,報告還指出當前的技術特徵除了多模數據處理實時性等方面,更加註重數據共享與安全。星環科技ArgoDB的技術演進方向與該發展方向不謀而合。
近日,ArgoDB 5.1正式發佈,重點圍繞多模型數據處理能力、實時分析能力和數據安全防護能力進行迭代增強與優化升級。
增強多模型數據處理能力,構建關係型數據與圖數據的連接橋樑

圖數據庫使用圖模型對關聯數據中的實體、關係進行建模,擅長處理海量數據下的複雜關聯分析,因此非常適用於反欺詐、風控檢測、知識圖譜、社交網絡等數據高度互聯的場景。

ArgoDB 5.1 基於「天然的」多模型統一架構進一步增強多模型數據處理能力,將關係型數據庫和圖數據等模型數據進行統一存儲,並實現關係型數據和圖數據的關聯查詢分析,滿足更多跨模型數據處理分析需求。
反欺詐一直都是金融行業重點關注的業務之一。傳統反欺詐解決方案由於不同數據模型分散存儲在不同的數據庫(例如關係型數據庫和圖數據庫)等原因,在實際業務中需要大量數據轉換操作,應用實施成本高,實時性有待提高。ArgoDB 5.1為解決此類業務中的數據關聯難問題,將多模型數據存儲、數據融合處理能力進行迭代加強,用戶可將關係型數據和圖數據庫進行統一存儲,用戶只需通過一個SQL即可關聯查詢分析關係型數據和圖數據,在數據免搬遷、減少人工操作的同時,提升業務效率。

例如,當需要判斷某人是否存在金融欺詐行為時,可以先查詢存儲在關係型數據庫中的消費情況,並結合圖數據庫中的關聯轉賬關係,分析是否有異常轉賬行為,從而精確識別欺詐行為。

為了完成這個業務,用戶需要搭建2個以上獨立的數據庫,並在應用適配多種數據庫的連接方式和查詢語言,同時還要求開發人員同時了解這幾種數據庫的開發技術,整個流程非常複雜,技術要求非常高。此外,由於這些都是獨立的系統,數據和可能存在不一致,導致分析語句的結果不準確。
而基於星環科技ArgoDB多模型統一技術架構,用戶只需用一句SQL就能同時訪問這幾種存儲模型進行聯合分析,替代了之前多段代碼。一句SQL里,同時對關係型數據消費記錄表、圖數據轉賬關係表等多個表進行了跨模型關聯,一次操作完成了之前三次操作才能完成的業務,大大簡化了開發複雜度,簡化用戶操作。同時數據也仍保留在原存儲引擎中,也不用對數據進行導入導出或者轉換,不會存在數據不一致或數據冗餘存儲的問題。
作為一款領先的多模型數據庫,ArgoDB支持關係型、搜索、文本、對象、圖等10種數據模型,能夠幫助用戶簡化系統架構、減少開發運維成本、提升用戶體驗和數據洞察力,滿足更多複雜業務需求
ArgoDB多模型統一架構:
統一的SQL編譯引擎,支持SQL 99/2003 標準語法,兼容TD,Oracle,DB2等多種方言,對不同模式的數據提供統一接口,將多個操作訪問入口變為一個入口,將多種數據庫語言變為一種語言,降低開發和遷移成本,簡化用戶操作。

統一的計算引擎,將多套計算引擎變為一套引擎,將多份計算資源變為一份資源,提供高性能的分析計算和執行效率,滿足跨模型數據複雜關聯分析場景。

統一的存儲管理系統,同時支持分析型行列混合存儲、支持具有搜索功能的文本存儲等多模異構存儲,並保證數據的強一致性,數據只需一次入庫,即可通過異構存儲的訪問能力支撐多樣化複雜分析場景,降低運維成本,將分散存儲管理變為統一存儲管理,極大簡化系統架構,減少開發運維成本。

統一的星環雲原生操作系統,支持 ARM+X86的混合架構,用戶可以利舊硬件,大幅降低成本。實時分析性能數倍提升,構建高性能一站式實時數倉

隨着業務的快速發展以及企業內部決策的響應要求不斷提高,用戶對數據實時性的要求越來越迫切。傳統離線數倉的數據時效性T+1,調度頻率以天為單位,無法滿足實時場景的響應需求。
ArgoDB 5.1通過優化算法,在性能上有大幅度的提升,例如一定場景下,在Where in用法性能方面提升10倍以上。通過列式存儲Holodesk Native重構存儲格式,表批量Scan性能也提升5-10倍。對於實時數倉場景,數據延遲控制在毫秒級,並且支持高並發分析。在OLAP分析場景下,無論是單表查詢還是多表關聯場景,ArgoDB都具備明顯的性能優勢,整體上是Clickhouse、Greenplum的2-10倍以上,可幫助用戶更及時地應對複雜多變的業務需求。此外,ArgoDB 5.1提升了全局事務管理能力,有效提升元數據存取、元數據調用、全局事務管理等效率,進一步提升大規模實時數倉場景下的穩定性

某商業銀行基於ArgoDB和實時流計算引擎Slipstream構建了新一代實時數據倉庫,滿足了業務系統高吞吐、低延時需求,業務數據實時入庫,入庫即分析,從數據同步到輸出結果全流程十餘秒內完成,為銀行商戶風控系統提供實時OLAP支撐。此外,該解決方案整合了所有終端實時數據進行業務指標分析,達到秒級響應。

《數據庫發展研究報告(2022年)》中指出,分析型數據庫邁入實時湖倉集約階段。ArgoDB切合數據庫關鍵技術的發展趨勢,基於ArgoDB構建的實時湖倉一體化方案,能夠在同一平台中,將原始的、加工清洗的、模型化的數據,共同存儲於一體化的「湖倉集」中,避免數據移動。既能面向業務實現高並發、精準化、高性能的歷史數據、實時數據的查詢服務,又能承載分析報表、批處理、數據挖掘等分析型數據集市業務,真正意義上為用戶提供湖倉集一體化的場景解決方案。新增動態脫敏能力,為數據共享鑄造安全「盾牌」

隨着數字經濟的飛速發展,我國數字經濟開始轉向深化應用、規範發展、普惠共享的新階段。越來越多的企業與組織開始推動對內和對外數據共享。與此同時,法律法規日臻完善、監管日趨嚴格。這就要求企業與組織在進行數據共享的同時,需要滿足數據安全與合規要求。例如銀行、證券等金融機構為內部不同部門以及外部政府機構、個人等提供數據訪問時,根據不同訪問者設置不同的脫敏策略。ArgoDB 5.1 新增動態脫敏功能,能夠在保留原始數據的前提下解決非授權用戶對敏感數據的訪問問題。在執行SQL時,SQL編譯器會解析SQL內容和用戶身份,通過對比字段血緣庫和脫敏規則庫,改寫SQL並生成「脫敏查詢樹」,從而實現數據動態脫敏。與傳統脫敏方法相比,ArgoDB能夠通過分析不同字段之間的血緣關係自動發現並識別隱藏敏感數據,避免敏感數據導入新表後,因命名不規範而導致無法被發現和識別。ArgoDB不僅提供完整的SQL支持,具備複雜語句脫敏能力,而且能夠結合聯邦計算能力,無需重新改造系統,即可實現第三方數據庫動態脫敏。通過ArgoDB的動態脫敏能力,當不同用戶進行數據訪問時,可實現實時數據脫敏,滿足企業數據共享需求的同時,保護隱私數據信息,防止數據泄露和惡意窺探以達到數據安全與合規要求和信創要求。此外,分佈式分析型數據庫ArgoDB自主研發,通過了工信部電子第五研究所代碼掃描測試,代碼自主率(行數)超過90%,安全可控。同時,ArgoDB已與國內主流軟硬件信創廠商完成了兼容適配互認證,已經完成和飛騰、鯤鵬等國產硬件及麒麟、UOS等國產操作系統的深度適配,並取得了認證證書,滿足信創驗收要求,助力企業打造自主可控、高性能、安全的數據分析平台

Tags: