手把手教你 在IDEA搭建 SparkSQL的开发环境
- 2022 年 5 月 14 日
- 筆記
1. 创建maven项目 在IDEA中添加scala插件 并添加scala的sdk https://www.cnblog …
Continue Reading
Spark SQL底层执行流程详解
- 2022 年 4 月 21 日
- 筆記
本文目录 一、Apache Spark 二、Spark SQL发展历程 三、Spark SQL底层执行原理 四、Cata …
Continue ReadingHive on Spark和Spark sql on Hive，你能分的清楚么
- 2022 年 1 月 4 日
- 筆記
摘要：结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。 …
Continue Reading
SparkSQL中产生笛卡尔积的几种典型场景以及处理策略
- 2021 年 3 月 16 日
- 筆記
【前言：如果你经常使用Spark SQL进行数据的处理分析，那么对笛卡尔积的危害性一定不陌生，比如大量占用集群资源导致其 …
Continue ReadingSpark SQL中Not in Subquery为何低效以及如何规避
- 2021 年 3 月 12 日
- 筆記
首先看个Not in Subquery的SQL： // test_partition1 和 test_partition …
Continue Reading【大数据学习与分享】技术干货合集
- 2021 年 2 月 9 日
- 筆記
大数据学习与分享】主要是做什么的？ 【大数据学习与分享】主要专注于大数据领域常用的技术，如Spark、Hadoop、Hi …
Continue ReadingSpark SQL如何选择join策略
- 2021 年 1 月 29 日
- 筆記
前言 众所周知，Catalyst Optimizer是Spark SQL的核心，它主要负责将SQL语句转换成最终的物理执 …
Continue Reading
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
- 2020 年 12 月 3 日
- 筆記
首先说一下，这里解决的问题应用场景： sparksql处理Hive表数据时，判断加载的是否是分区表，以及分区表的字段有哪 …
Continue Reading
Spark SQL | 目前Spark社区最活跃的组件之一
- 2020 年 11 月 24 日
- 筆記
Spark SQL是一个用来处理结构化数据的Spark组件，前身是shark，但是shark过多的依赖于hive如采用h …
Continue Reading
SparkSQL /DataFrame /Spark RDD谁快？
- 2020 年 8 月 15 日
- 筆記
如题所示，SparkSQL /DataFrame /Spark RDD谁快？ 按照官方宣传以及大部分人的理解，Spark …
Continue Reading