Spark SQL | 目前Spark社区最活跃的组件之一
- 2020 年 11 月 24 日
- 笔记
Spark SQL是一个用来处理结构化数据的Spark组件，前身是shark，但是shark过多的依赖于hive如采用h …
Continue Reading
Spark闭包 | driver & executor程序代码执行
- 2020 年 11 月 23 日
- 笔记
Spark中的闭包 闭包的作用可以理解为：函数可以访问函数外部定义的变量，但是函数内部对该变量进行的修改，在函数外是不可 …
Continue Reading
重要 | Spark分区并行度决定机制
- 2020 年 11 月 19 日
- 笔记
最近经常有小伙伴在本公众号留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从 …
Continue Reading
聊聊Spark的分区、并行度 —— 前奏篇
- 2020 年 11 月 17 日
- 笔记
通过之前的文章【Spark RDD详解】，大家应该了解到Spark会通过DAG将一个Spark job中用到的所有RDD …
Continue Reading对Spark硬件配置的建议
- 2020 年 11 月 11 日
- 笔记
对于Spark开发人员来说，一个比较普遍的问题就是如何合理的配置Spark的硬件？当然如何合理的对Spark集群进行硬件 …
Continue Reading
Spark集群和任务执行
- 2020 年 11 月 6 日
- 笔记
【前言：承接《Spark通识》篇】 Spark集群组件 Spark是典型的Master/Slave架构，集群主要包括以下 …
Continue Reading
重要 | Spark和MapReduce的对比，不仅仅是计算模型？
- 2020 年 11 月 4 日
- 笔记
【前言：笔者将分上下篇文章进行阐述Spark和MapReduce的对比，首篇侧重于”宏观”上的对 …
Continue Reading
详解MapReduce（Spark和MapReduce对比铺垫篇）
- 2020 年 10 月 28 日
- 笔记
本来笔者是不打算写MapReduce的，但是考虑到目前很多公司还都在用这个计算引擎，以及后续要讲的Hive原生支持的计算 …
Continue Reading