【深入浅出 Yarn 架构与实现】3-3 Yarn Application Master 编写
- 2022 年 11 月 18 日
- 筆記
本篇文章继续介绍 Yarn Application 中 ApplicationMaster 部分的编写方法。 一、App …
Continue Reading
【深入浅出 Yarn 架构与实现】3-2 Yarn Client 编写
- 2022 年 11 月 17 日
- 筆記
上篇文章介绍了编写 Yarn Application 的整体框架流程，本篇文章将详细介绍其中 Client 部分的编写方 …
Continue Reading
【深入浅出 Yarn 架构与实现】3-1 Yarn Application 流程与编写方法
- 2022 年 11 月 14 日
- 筆記
本篇学习 Yarn Application 编写方法，将带你更清楚的了解一个任务是如何提交到 Yarn ，在运行中的交互 …
Continue Reading
【深入浅出 Yarn 架构与实现】2-4 Yarn 基础库 – 状态机库
- 2022 年 11 月 11 日
- 筆記
当一个服务拥有太多处理逻辑时，会导致代码结构异常的混乱，很难分辨一段逻辑是在哪个阶段发挥作用的。 这时就可以引入状态机模 …
Continue Reading
【深入浅出 Yarn 架构与实现】2-3 Yarn 基础库 – 服务库与事件库
- 2022 年 11 月 10 日
- 筆記
一个庞大的分布式系统，各个组件间是如何协调工作的？组件是如何解耦的？线程运行如何更高效，减少阻塞带来的低效问题？本节将对 …
Continue Reading
【深入浅出 Yarn 架构与实现】2-2 Yarn 基础库 – 底层通信库 RPC
- 2022 年 11 月 9 日
- 筆記
RPC（Remote Procedure Call） 是 Hadoop 服务通信的关键库，支撑上层分布式环境下复杂的进程 …
Continue Reading
【深入浅出 Yarn 架构与实现】2-1 Yarn 基础库概述
- 2022 年 11 月 8 日
- 筆記
了解 Yarn 基础库是后面阅读 Yarn 源码的基础，本节对 Yarn 基础库做总体的介绍。并对其中使用的第三方库 P …
Continue Reading
【深入浅出 Yarn 架构与实现】1-2 搭建 Hadoop 源码阅读环境
- 2022 年 11 月 8 日
- 筆記
本文将介绍如何使用 idea 搭建 Hadoop 源码阅读环境。（默认已安装好 Java、Maven 环境） 一、搭建源 …
Continue Reading
【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构
- 2022 年 11 月 3 日
- 筆記
一、Yarn 产生的背景 Hadoop2 之前是由 HDFS 和 MR 组成的，HDFS 负责存储，MR 负责计算。 一 …
Continue Reading
Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中
- 2022 年 11 月 3 日
- 筆記
一、前言 近几年大数据是异常的火爆，今天小编以java开发的身份来会会大数据，提高一下自己的层面！ 大数据技术也是有很多 …
Continue Reading