图文详解MapReduce工作机制
- 2022 年 6 月 2 日
- 笔记
job提交阶段 1、准备好待处理文本。 2、客户端submit()前，获取待处理数据的信息，然后根据参数配置，形成一个任 …
Continue Reading
Spark: 单词计数(Word Count)的MapReduce实现(Java/Python)
- 2022 年 5 月 26 日
- 笔记
1 导引 我们在博客《Hadoop: 单词计数(Word Count)的MapReduce实现 》中学习了如何用Hado …
Continue Reading
Hadoop: 单词计数(Word Count)的MapReduce实现
- 2022 年 5 月 24 日
- 笔记
1.Map与Reduce过程 1.1 Map过程 首先，Hadoop会把输入数据划分成等长的输入分片(input spl …
Continue Reading
开发一个不需要重写成Hive QL的大数据SQL引擎
- 2022 年 4 月 29 日
- 笔记
摘要：开发一款能支持标准数据库SQL的大数据仓库引擎，让那些在Oracle上运行良好的SQL可以直接运行在Hadoop上 …
Continue Reading
带你了解极具弹性的Spark架构的原理
- 2022 年 4 月 22 日
- 笔记
摘要：相比MapReduce僵化的Map与Reduce分阶段计算相比，Spark的计算框架更加富有弹性和灵活性，运行性能 …
Continue Reading
不care工具，在大数据平台中Hive能自动处理SQL
- 2022 年 4 月 19 日
- 笔记
摘要：有没有更简单的办法，可以直接将SQL运行在大数据平台？ 本文分享自华为云社区《Hive执行原理》，作者： Java …
Continue Reading
坐实大数据资源调度框架之王，Yarn为何这么牛
- 2022 年 4 月 12 日
- 笔记
摘要：Yarn的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为大数据的代名词。 本文分享自 …
Continue Reading
【Cloud Computing】Hadoop环境安装、基本命令及MapReduce字数统计程序
- 2021 年 11 月 28 日
- 笔记
【Cloud Computing】Hadoop环境安装、基本命令及MapReduce字数统计程序 1.虚拟机准备 1.1 …
Continue Reading
CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)
- 2021 年 11 月 13 日
- 笔记
@ 目录 前言 预先设置 修改主机名 关闭防火墙 创建hadoop用户 SSH安装免密登陆 单机免密登陆——linux配 …
Continue Reading
MR 01 – MapReduce 计算框架入门
- 2021 年 10 月 9 日
- 笔记
目录 1 – 什么是 MapReduce 2 – MapReduce 的设计思想 2.1 如何海 …
Continue Reading