字節跳動基於ClickHouse優化實踐之「多表關聯查詢」

  • 2022 年 8 月 22 日
  • 筆記

更多技术交流、求职机会、试用福利,欢迎关注 字节跳动数据平台微信公众号,回复【1】进入官方交流群 相信大家都对大名鼎鼎的ClickHouse有一定的了解了,它强大的数据分析性能让人印象深刻。但在字节大量生产使用中,发现了ClickHouse依然存在了一定的限制。例如: 缺少完整的upsert和del …

Continue Reading

Clickhouse實時數倉建設

  • 2022 年 5 月 29 日
  • 筆記

1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。今天,笔者就为大家介绍如何使用Clickhouse来构建实时数仓,来满足一些实时性要求较高的使用场景。 2.内容 2.1 什么是OLAP场景 在介绍Click …

Continue Reading

ClickHouse學習系列之四【副本&分片部署說明】

  • 2021 年 6 月 24 日
  • 筆記

背景 以前介绍过ClickHouse相关的 系列文章 ,现在继续说明。本文开始说明ClickHouse的副本与分片,和其他数据库一样,ClickHouse也会出现单节点故障和单节点资源到达上限的情况。所以针对上面的2个问题,就出现了副本和分片。 副本:能避免单节点故障的问题,类似于MySQL的Rep …

Continue Reading

OLAP引擎:基於Presto組件進行跨數據源分析

  • 2021 年 4 月 18 日
  • 筆記

一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节,Presto虽然具备解析SQL的能力,但它并不属于标准的数据库范畴。 Presto支持在线数据查询,包括Hive,关系数据库以及专有数据存储。一条Presto查询 …

Continue Reading

OLAP引擎:基於Druid組件進行數據統計分析

一、Druid概述 1、Druid简介 Druid是一款基于分布式架构的OLAP引擎,支持数据写入、低延时、高性能的数据分析,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有相关的应用场景,是大数据基础架构建设中重要组件。 与现在相对热门的Clickhouse引擎相比,D …

Continue Reading

Apache Hudi使用簡介

  • 2020 年 12 月 27 日
  • 筆記

Apache Hudi使用简介 目录 Apache Hudi使用简介 数据实时处理和实时的数据 业务场景和技术选型 Apache hudi简介 使用Aapche Hudi整体思路 Hudi表数据结构 数据文件 .hoodie文件 Hudi记录Id COW和MOR Copy On Write Tabl …

Continue Reading

Clickhouse 入門

  • 2020 年 11 月 30 日
  • 筆記

clickhouse 简介 ck是一个列式存储的数据库,其针对的场景是OLAP。OLAP的特点是: 数据不经常写,即便写也是批量写。不像OLTP是一条一条写 大多数是读请求 查询并发较少,不适合放置先生高并发业务场景使用 , CK本身建议最大一秒100个并发查询。 不要求事务 click的优点 为了 …

Continue Reading

大數據篇:一文讀懂@數據倉庫

  • 2020 年 6 月 17 日
  • 筆記

大数据篇:一文读懂@数据仓库 1 网络词汇总结 人工智能层的:智慧地球、智慧城市、智慧社会 企业层面的:数字互联网,数字经济、数字平台、数字城市、数字政府; 平台层面的:物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱 技术层面的:数据仓库、数据集市、大数据平台、数据湖、数据中台 …

Continue Reading