基于Hive进行数仓建设的资源元数据信息统计：Spark篇
- 2021 年 4 月 8 日
- 筆記
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类： 技术元数据 …
Continue Reading
SparkSQL中产生笛卡尔积的几种典型场景以及处理策略
- 2021 年 3 月 16 日
- 筆記
【前言：如果你经常使用Spark SQL进行数据的处理分析，那么对笛卡尔积的危害性一定不陌生，比如大量占用集群资源导致其 …
Continue ReadingSpark SQL中Not in Subquery为何低效以及如何规避
- 2021 年 3 月 12 日
- 筆記
首先看个Not in Subquery的SQL： // test_partition1 和 test_partition …
Continue ReadingSpark和Spring整合处理离线数据
- 2021 年 2 月 24 日
- 筆記
如果你比较熟悉JavaWeb应用开发，那么对Spring框架一定不陌生，并且JavaWeb通常是基于SSM搭起的架构，主 …
Continue Reading
Spark在处理数据的时候，会将数据都加载到内存再做处理吗？
- 2021 年 2 月 22 日
- 筆記
对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都 …
Continue Reading
别再人云亦云了！！！你真的搞懂了RDD、DF、DS的区别吗？
- 2021 年 2 月 21 日
- 筆記
几年前，包括最近，我看了各种书籍、教程、官网。但是真正能够把RDD、DataFrame、DataSet解释得清楚一点的、 …
Continue Reading
Spark+Kafka实时监控Oracle数据预警
- 2021 年 2 月 3 日
- 筆記
目标： 监控Oracle某张记录表，有新增数据则获取表数据，并推送到微信企业。 流程： Kafka实时监控Oracle指 …
Continue ReadingSpark SQL如何选择join策略
- 2021 年 1 月 29 日
- 筆記
前言 众所周知，Catalyst Optimizer是Spark SQL的核心，它主要负责将SQL语句转换成最终的物理执 …
Continue Reading
Spark底层原理详细解析(深度好文，建议收藏)
- 2021 年 1 月 29 日
- 筆記
Spark简介 Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的 …
Continue Reading
SparkStreaming和Kafka基于Direct Approach如何管理offset实现exactly once
- 2021 年 1 月 22 日
- 筆記
在之前的文章《解析SparkStreaming和Kafka集成的两种方式》中已详细介绍SparkStreaming和Ka …
Continue Reading