自适应查询执行：在运行时提升Spark SQL执行性能
- 2020 年 12 月 21 日
- 筆記
前言 Catalyst是Spark SQL核心优化器，早期主要基于规则的优化器RBO，后期又引入基于代价进行优化的CBO …
Continue Reading如何获取流式应用程序中checkpoint的最新offset
- 2020 年 11 月 23 日
- 筆記
对于流式应用程序，保证应用7*24小时的稳定运行，是非常必要的。因此对于计算引擎，要求必须能够适应与应用程序逻辑本身无关 …
Continue Reading
聊聊Spark的分区、并行度 —— 前奏篇
- 2020 年 11 月 17 日
- 筆記
通过之前的文章【Spark RDD详解】，大家应该了解到Spark会通过DAG将一个Spark job中用到的所有RDD …
Continue Reading
Spark集群和任务执行
- 2020 年 11 月 6 日
- 筆記
【前言：承接《Spark通识》篇】 Spark集群组件 Spark是典型的Master/Slave架构，集群主要包括以下 …
Continue Reading
Spark RDD详解 | RDD特性、lineage、缓存、checkpoint、依赖关系
- 2020 年 10 月 23 日
- 筆記
RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代 …
Continue Reading