SparkSQL中产生笛卡尔积的几种典型场景以及处理策略
- 2021 年 3 月 16 日
- 笔记
【前言：如果你经常使用Spark SQL进行数据的处理分析，那么对笛卡尔积的危害性一定不陌生，比如大量占用集群资源导致其 …
Continue ReadingSpark SQL中Not in Subquery为何低效以及如何规避
- 2021 年 3 月 12 日
- 笔记
首先看个Not in Subquery的SQL： // test_partition1 和 test_partition …
Continue ReadingSpark和Spring整合处理离线数据
- 2021 年 2 月 24 日
- 笔记
如果你比较熟悉JavaWeb应用开发，那么对Spring框架一定不陌生，并且JavaWeb通常是基于SSM搭起的架构，主 …
Continue Reading
Spark在处理数据的时候，会将数据都加载到内存再做处理吗？
- 2021 年 2 月 22 日
- 笔记
对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都 …
Continue ReadingSpark SQL如何选择join策略
- 2021 年 1 月 29 日
- 笔记
前言 众所周知，Catalyst Optimizer是Spark SQL的核心，它主要负责将SQL语句转换成最终的物理执 …
Continue Reading
SparkStreaming和Kafka基于Direct Approach如何管理offset实现exactly once
- 2021 年 1 月 22 日
- 笔记
在之前的文章《解析SparkStreaming和Kafka集成的两种方式》中已详细介绍SparkStreaming和Ka …
Continue Reading
自适应查询执行：在运行时提升Spark SQL执行性能
- 2020 年 12 月 21 日
- 笔记
前言 Catalyst是Spark SQL核心优化器，早期主要基于规则的优化器RBO，后期又引入基于代价进行优化的CBO …
Continue ReadingSpark/Scala实现推荐系统中的相似度算法（欧几里得距离、皮尔逊相关系数、余弦相似度：附实现代码）
- 2020 年 12 月 11 日
- 笔记
在推荐系统中，协同过滤算法是应用较多的，具体又主要划分为基于用户和基于物品的协同过滤算法，核心点就是基于”一 …
Continue ReadingSpark流式状态管理（updateStateByKey、mapWithState等）
- 2020 年 12 月 9 日
- 笔记
通常使用Spark的流式框架如Spark Streaming，做无状态的流式计算是非常方便的，仅需处理每个批次时间间隔内 …
Continue Reading必须掌握的Spark调优技术点
- 2020 年 11 月 30 日
- 笔记
在利用Spark处理数据时，如果数据量不大，那么Spark的默认配置基本就能满足实际的业务场景。但是当数据量大的时候，就 …
Continue Reading