ArgoDB 5.1 正式发布:多模融合、实时分析和数据安全多重升级
Transwarp ArgoDB是星环科技自主研发的高性能分布式分析型数据库,在PB级数据量上提供极致的数据分析能力。ArgoDB支持标准SQL语法和分布式事务,提供高并发高速数据写入、复杂查询、多模分析、数据联邦、隐私计算和动态脱敏等能力。基于星环科技ArgoDB数据库,可以打造一站式离线数据仓库、实时数据仓库、数据集市和联邦计算平台等数据分析系统,为企业提供全面、便捷、智能和安全的数据服务能力。
2022年7月中国信通院发布《数据库发展研究报告(2022年)》,报告指出未来五年,数据库技术有九大细分发展方向,其中就包括多模数据管理。此外,报告还指出当前的技术特征除了多模数据处理实时性等方面,更加注重数据共享与安全。星环科技ArgoDB的技术演进方向与该发展方向不谋而合。
近日,ArgoDB 5.1正式发布,重点围绕多模型数据处理能力、实时分析能力和数据安全防护能力进行迭代增强与优化升级。
增强多模型数据处理能力,构建关系型数据与图数据的连接桥梁
图数据库使用图模型对关联数据中的实体、关系进行建模,擅长处理海量数据下的复杂关联分析,因此非常适用于反欺诈、风控检测、知识图谱、社交网络等数据高度互联的场景。
ArgoDB 5.1 基于“天然的”多模型统一架构进一步增强多模型数据处理能力,将关系型数据库和图数据等模型数据进行统一存储,并实现关系型数据和图数据的关联查询分析,满足更多跨模型数据处理分析需求。
反欺诈一直都是金融行业重点关注的业务之一。传统反欺诈解决方案由于不同数据模型分散存储在不同的数据库(例如关系型数据库和图数据库)等原因,在实际业务中需要大量数据转换操作,应用实施成本高,实时性有待提高。ArgoDB 5.1为解决此类业务中的数据关联难问题,将多模型数据存储、数据融合处理能力进行迭代加强,用户可将关系型数据和图数据库进行统一存储,用户只需通过一个SQL即可关联查询分析关系型数据和图数据,在数据免搬迁、减少人工操作的同时,提升业务效率。
例如,当需要判断某人是否存在金融欺诈行为时,可以先查询存储在关系型数据库中的消费情况,并结合图数据库中的关联转账关系,分析是否有异常转账行为,从而精确识别欺诈行为。
为了完成这个业务,用户需要搭建2个以上独立的数据库,并在应用适配多种数据库的连接方式和查询语言,同时还要求开发人员同时了解这几种数据库的开发技术,整个流程非常复杂,技术要求非常高。此外,由于这些都是独立的系统,数据和可能存在不一致,导致分析语句的结果不准确。
而基于星环科技ArgoDB多模型统一技术架构,用户只需用一句SQL就能同时访问这几种存储模型进行联合分析,替代了之前多段代码。一句SQL里,同时对关系型数据消费记录表、图数据转账关系表等多个表进行了跨模型关联,一次操作完成了之前三次操作才能完成的业务,大大简化了开发复杂度,简化用户操作。同时数据也仍保留在原存储引擎中,也不用对数据进行导入导出或者转换,不会存在数据不一致或数据冗余存储的问题。
作为一款领先的多模型数据库,ArgoDB支持关系型、搜索、文本、对象、图等10种数据模型,能够帮助用户简化系统架构、减少开发运维成本、提升用户体验和数据洞察力,满足更多复杂业务需求。
ArgoDB多模型统一架构:
统一的SQL编译引擎,支持SQL 99/2003 标准语法,兼容TD,Oracle,DB2等多种方言,对不同模式的数据提供统一接口,将多个操作访问入口变为一个入口,将多种数据库语言变为一种语言,降低开发和迁移成本,简化用户操作。
统一的计算引擎,将多套计算引擎变为一套引擎,将多份计算资源变为一份资源,提供高性能的分析计算和执行效率,满足跨模型数据复杂关联分析场景。
统一的存储管理系统,同时支持分析型行列混合存储、支持具有搜索功能的文本存储等多模异构存储,并保证数据的强一致性,数据只需一次入库,即可通过异构存储的访问能力支撑多样化复杂分析场景,降低运维成本,将分散存储管理变为统一存储管理,极大简化系统架构,减少开发运维成本。
统一的星环云原生操作系统,支持 ARM+X86的混合架构,用户可以利旧硬件,大幅降低成本。实时分析性能数倍提升,构建高性能一站式实时数仓
随着业务的快速发展以及企业内部决策的响应要求不断提高,用户对数据实时性的要求越来越迫切。传统离线数仓的数据时效性T+1,调度频率以天为单位,无法满足实时场景的响应需求。
ArgoDB 5.1通过优化算法,在性能上有大幅度的提升,例如一定场景下,在Where in用法性能方面提升10倍以上。通过列式存储Holodesk Native重构存储格式,表批量Scan性能也提升5-10倍。对于实时数仓场景,数据延迟控制在毫秒级,并且支持高并发分析。在OLAP分析场景下,无论是单表查询还是多表关联场景,ArgoDB都具备明显的性能优势,整体上是Clickhouse、Greenplum的2-10倍以上,可帮助用户更及时地应对复杂多变的业务需求。此外,ArgoDB 5.1提升了全局事务管理能力,有效提升元数据存取、元数据调用、全局事务管理等效率,进一步提升大规模实时数仓场景下的稳定性。
某商业银行基于ArgoDB和实时流计算引擎Slipstream构建了新一代实时数据仓库,满足了业务系统高吞吐、低延时需求,业务数据实时入库,入库即分析,从数据同步到输出结果全流程十余秒内完成,为银行商户风控系统提供实时OLAP支撑。此外,该解决方案整合了所有终端实时数据进行业务指标分析,达到秒级响应。
《数据库发展研究报告(2022年)》中指出,分析型数据库迈入实时湖仓集约阶段。ArgoDB切合数据库关键技术的发展趋势,基于ArgoDB构建的实时湖仓一体化方案,能够在同一平台中,将原始的、加工清洗的、模型化的数据,共同存储于一体化的“湖仓集”中,避免数据移动。既能面向业务实现高并发、精准化、高性能的历史数据、实时数据的查询服务,又能承载分析报表、批处理、数据挖掘等分析型数据集市业务,真正意义上为用户提供湖仓集一体化的场景解决方案。新增动态脱敏能力,为数据共享铸造安全“盾牌”
随着数字经济的飞速发展,我国数字经济开始转向深化应用、规范发展、普惠共享的新阶段。越来越多的企业与组织开始推动对内和对外数据共享。与此同时,法律法规日臻完善、监管日趋严格。这就要求企业与组织在进行数据共享的同时,需要满足数据安全与合规要求。例如银行、证券等金融机构为内部不同部门以及外部政府机构、个人等提供数据访问时,根据不同访问者设置不同的脱敏策略。ArgoDB 5.1 新增动态脱敏功能,能够在保留原始数据的前提下解决非授权用户对敏感数据的访问问题。在执行SQL时,SQL编译器会解析SQL内容和用户身份,通过对比字段血缘库和脱敏规则库,改写SQL并生成“脱敏查询树”,从而实现数据动态脱敏。与传统脱敏方法相比,ArgoDB能够通过分析不同字段之间的血缘关系自动发现并识别隐藏敏感数据,避免敏感数据导入新表后,因命名不规范而导致无法被发现和识别。ArgoDB不仅提供完整的SQL支持,具备复杂语句脱敏能力,而且能够结合联邦计算能力,无需重新改造系统,即可实现第三方数据库动态脱敏。通过ArgoDB的动态脱敏能力,当不同用户进行数据访问时,可实现实时数据脱敏,满足企业数据共享需求的同时,保护隐私数据信息,防止数据泄露和恶意窥探以达到数据安全与合规要求和信创要求。此外,分布式分析型数据库ArgoDB自主研发,通过了工信部电子第五研究所代码扫描测试,代码自主率(行数)超过90%,安全可控。同时,ArgoDB已与国内主流软硬件信创厂商完成了兼容适配互认证,已经完成和飞腾、鲲鹏等国产硬件及麒麟、UOS等国产操作系统的深度适配,并取得了认证证书,满足信创验收要求,助力企业打造自主可控、高性能、安全的数据分析平台。