MapReduce原理深入理解(二)
- 2021 年 9 月 23 日
- 笔记
1.Mapreduce操作不需要reduce阶段 1 import org.apache.hadoop.conf.C …
Continue Reading
MapReduce原理深入理解(一)
- 2021 年 9 月 23 日
- 笔记
1.MapReduce概念 1）MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数 …
Continue Reading
MapReduce框架-Join的使用
- 2021 年 8 月 13 日
- 笔记
引言 首先先明白在关系型数据库中Join的用法。 Join在MapReduce中的用法也是用于两个文件之间的连接。 使用 …
Continue Reading基于文件的表合并及行转列实现参考
- 2021 年 6 月 29 日
- 笔记
用例：有N个文件，每个文件只有一列主键，每个文件代表一种属性。即当如PRI1主键在A文件中，说明PRI1具有A属性。 …
Continue ReadingMapReduce原理及简单实现
- 2021 年 2 月 21 日
- 笔记
MapReduce是Google在2004年发表的论文《MapReduce: Simplified Data Proce …
Continue Reading【大数据学习与分享】技术干货合集
- 2021 年 2 月 9 日
- 笔记
大数据学习与分享】主要是做什么的？ 【大数据学习与分享】主要专注于大数据领域常用的技术，如Spark、Hadoop、Hi …
Continue ReadingHadoop 专栏 – MapReduce 入门
- 2021 年 1 月 21 日
- 笔记
MapReduce的基本思想 先举一个简单的例子: 打个比方我们有三个人斗地主, 要数数牌够不够, 一种最简单的方法可以 …
Continue Reading
简要MR与Spark在Shuffle区别
- 2021 年 1 月 18 日
- 笔记
一、区别 ①本质上相同，都是把Map端数据分类处理后交由Reduce的过程。 ②数据流有所区别，MR按map, spil …
Continue Reading
Hadoop框架：MapReduce基本原理和入门案例
- 2020 年 11 月 22 日
- 笔记
本文源码：GitHub·点这里 || GitEE·点这里 一、MapReduce概述 1、基本概念 Hadoop核心组件 …
Continue Reading
重要 | Spark和MapReduce的对比，不仅仅是计算模型？
- 2020 年 11 月 4 日
- 笔记
【前言：笔者将分上下篇文章进行阐述Spark和MapReduce的对比，首篇侧重于”宏观”上的对 …
Continue Reading