Spark的两种核心Shuffle详解
- 2021 年 8 月 16 日
- 筆記
在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 …
Continue Reading
spark学习
- 2021 年 7 月 16 日
- 筆記
Spark概述 Spark定义 spark是一种基于内存的快速、通用、可扩展S的大数据分析计算引擎 Spark Core …
Continue Reading
看CarbonData如何用四招助力Apache Spark
- 2021 年 6 月 30 日
- 筆記
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重 …
Continue Reading
Hive和Spark分区策略
- 2021 年 6 月 27 日
- 筆記
1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享 …
Continue Reading
数据质量管理方法
- 2021 年 6 月 1 日
- 筆記
数据处理的过程 数据处理的过程一般如下： 数据质量管理(DATA Quality Managenment)是指对上述过程 …
Continue Reading学习建议，大数据组件那么多，可以重点学习这几个
- 2021 年 5 月 25 日
- 筆記
经常有同学问我，基于Hadoop生态圈的大数据组件有很多，怎么学的过来呢，毕竟精力有限，我们需要有侧重点，我觉得下面这几 …
Continue Reading
Hbase问题小结(一)
- 2021 年 5 月 12 日
- 筆記
1. Hbase读写优化 写： 批量写、异步批量提交、多线程并发写、使用BulkLoad写入、表优化（压缩算法、预分区、 …
Continue Reading
实时计算框架：Flink集群搭建与运行机制
- 2021 年 5 月 9 日
- 筆記
一、Flink概述 1、基础简介 Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink …
Continue Reading
实时计算框架：Spark集群搭建与入门案例
- 2021 年 4 月 26 日
- 筆記
一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎， …
Continue Reading
SparkStreaming使用mapWithState时，设置timeout()无法生效问题解决方案
- 2021 年 4 月 13 日
- 筆記
前言 当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的 …
Continue Reading