CDP客户数据管理平台体系化搭建
- 2021 年 11 月 2 日
- 笔记
一、Cdp系统简介 1、基本概念 客户数据平台(Customer-Data-Platform)，简称CDP；通过采集多方 …
Continue Reading
数据服务基础能力之元数据管理
- 2021 年 10 月 18 日
- 笔记
一、业务背景 1、应用场景 在多变的数据服务场景中，应用中常见如下的业务需求，通过对多种数据结构的灵活组合，快速实现业务 …
Continue Reading
数据管理：业务数据清洗，落地实现方案
- 2021 年 6 月 9 日
- 笔记
一、业务背景 在系统业务开发的过程中，都会面临这样一个问题：面对业务的快速扩展，很多版本在当时没有时间去全局考虑，导致很 …
Continue Reading
实时计算框架：Flink集群搭建与运行机制
- 2021 年 5 月 9 日
- 笔记
一、Flink概述 1、基础简介 Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink …
Continue Reading
实时计算框架：Spark集群搭建与入门案例
- 2021 年 4 月 26 日
- 笔记
一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎， …
Continue Reading
OLAP引擎：基于Presto组件进行跨数据源分析
- 2021 年 4 月 18 日
- 笔记
一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支 …
Continue Reading
OLAP引擎：基于Druid组件进行数据统计分析
- 2021 年 4 月 5 日
- 笔记
一、Druid概述 1、Druid简介 Druid是一款基于分布式架构的OLAP引擎，支持数据写入、低延时、高性能的数据 …
Continue Reading
数据调度组件：基于Azkaban协调时序任务执行
- 2021 年 3 月 30 日
- 笔记
一、Azkaban概述 1、任务时序 在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结 …
Continue Reading
数据搬运组件：基于Sqoop管理数据导入和导出
- 2021 年 3 月 15 日
- 笔记
本文源码：GitHub || GitEE 一、Sqoop概述 Sqoop是一款开源的大数据组件，主要用来在Hadoop( …
Continue Reading
数据采集组件：Flume基础用法和Kafka集成
- 2021 年 3 月 5 日
- 笔记
本文源码：GitHub || GitEE 一、Flume简介 1、基础描述 Flume是Cloudera提供的一个高可用 …
Continue Reading