【深入淺出 Yarn 架構與實現】3-3 Yarn Application Master 編寫
- 2022 年 11 月 18 日
- 筆記
本篇文章繼續介紹 Yarn Application 中 ApplicationMaster 部分的編寫方法。 一、App …
Continue Reading
【深入淺出 Yarn 架構與實現】3-2 Yarn Client 編寫
- 2022 年 11 月 17 日
- 筆記
上篇文章介紹了編寫 Yarn Application 的整體框架流程，本篇文章將詳細介紹其中 Client 部分的編寫方 …
Continue Reading
【深入淺出 Yarn 架構與實現】3-1 Yarn Application 流程與編寫方法
- 2022 年 11 月 14 日
- 筆記
本篇學習 Yarn Application 編寫方法，將帶你更清楚的了解一個任務是如何提交到 Yarn ，在運行中的交互 …
Continue Reading
【深入淺出 Yarn 架構與實現】2-4 Yarn 基礎庫 – 狀態機庫
- 2022 年 11 月 11 日
- 筆記
當一個服務擁有太多處理邏輯時，會導致程式碼結構異常的混亂，很難分辨一段邏輯是在哪個階段發揮作用的。 這時就可以引入狀態機模 …
Continue Reading
【深入淺出 Yarn 架構與實現】2-3 Yarn 基礎庫 – 服務庫與事件庫
- 2022 年 11 月 10 日
- 筆記
一個龐大的分散式系統，各個組件間是如何協調工作的？組件是如何解耦的？執行緒運行如何更高效，減少阻塞帶來的低效問題？本節將對 …
Continue Reading
【深入淺出 Yarn 架構與實現】2-2 Yarn 基礎庫 – 底層通訊庫 RPC
- 2022 年 11 月 9 日
- 筆記
RPC（Remote Procedure Call） 是 Hadoop 服務通訊的關鍵庫，支撐上層分散式環境下複雜的進程 …
Continue Reading
【深入淺出 Yarn 架構與實現】2-1 Yarn 基礎庫概述
- 2022 年 11 月 8 日
- 筆記
了解 Yarn 基礎庫是後面閱讀 Yarn 源碼的基礎，本節對 Yarn 基礎庫做總體的介紹。並對其中使用的第三方庫 P …
Continue Reading
【深入淺出 Yarn 架構與實現】1-2 搭建 Hadoop 源碼閱讀環境
- 2022 年 11 月 8 日
- 筆記
本文將介紹如何使用 idea 搭建 Hadoop 源碼閱讀環境。（默認已安裝好 Java、Maven 環境） 一、搭建源 …
Continue Reading
【深入淺出 Yarn 架構與實現】1-1 設計理念與基本架構
- 2022 年 11 月 3 日
- 筆記
一、Yarn 產生的背景 Hadoop2 之前是由 HDFS 和 MR 組成的，HDFS 負責存儲，MR 負責計算。 一 …
Continue Reading
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中
- 2022 年 11 月 3 日
- 筆記
一、前言 近幾年大數據是異常的火爆，今天小編以java開發的身份來會會大數據，提高一下自己的層面！ 大數據技術也是有很多 …
Continue Reading