手把手教你 在IDEA搭建 SparkSQL的開發環境
- 2022 年 5 月 14 日
- 筆記
1. 創建maven項目 在IDEA中添加scala插件 並添加scala的sdk https://www.cnblog …
Continue Reading
Spark SQL底層執行流程詳解
- 2022 年 4 月 21 日
- 筆記
本文目錄 一、Apache Spark 二、Spark SQL發展歷程 三、Spark SQL底層執行原理 四、Cata …
Continue ReadingHive on Spark和Spark sql on Hive，你能分的清楚么
- 2022 年 1 月 4 日
- 筆記
摘要：結構上Hive On Spark和SparkSQL都是一個翻譯層，把一個SQL翻譯成分散式可執行的Spark程式。 …
Continue Reading
SparkSQL中產生笛卡爾積的幾種典型場景以及處理策略
- 2021 年 3 月 16 日
- 筆記
【前言：如果你經常使用Spark SQL進行數據的處理分析，那麼對笛卡爾積的危害性一定不陌生，比如大量佔用集群資源導致其 …
Continue ReadingSpark SQL中Not in Subquery為何低效以及如何規避
- 2021 年 3 月 12 日
- 筆記
首先看個Not in Subquery的SQL： // test_partition1 和 test_partition …
Continue Reading【大數據學習與分享】技術乾貨合集
- 2021 年 2 月 9 日
- 筆記
大數據學習與分享】主要是做什麼的？ 【大數據學習與分享】主要專註於大數據領域常用的技術，如Spark、Hadoop、Hi …
Continue ReadingSpark SQL如何選擇join策略
- 2021 年 1 月 29 日
- 筆記
前言 眾所周知，Catalyst Optimizer是Spark SQL的核心，它主要負責將SQL語句轉換成最終的物理執 …
Continue Reading
Spark SQL解析查詢parquet格式Hive表獲取分區欄位和查詢條件
- 2020 年 12 月 3 日
- 筆記
首先說一下，這裡解決的問題應用場景： sparksql處理Hive表數據時，判斷載入的是否是分區表，以及分區表的欄位有哪 …
Continue Reading
Spark SQL | 目前Spark社區最活躍的組件之一
- 2020 年 11 月 24 日
- 筆記
Spark SQL是一個用來處理結構化數據的Spark組件，前身是shark，但是shark過多的依賴於hive如採用h …
Continue Reading
SparkSQL /DataFrame /Spark RDD誰快？
- 2020 年 8 月 15 日
- 筆記
如題所示，SparkSQL /DataFrame /Spark RDD誰快？ 按照官方宣傳以及大部分人的理解，Spark …
Continue Reading