Hadoop YARN簡介

• 2020 年 1 月 21 日
• 筆記

YARN 的基本思想是將資源管理和作業調度/監控的功能分解為單獨的守護進程。

• ResourceManager（RM）：全局資源管理器，負責整個系統的資源管理和分配。它主要由兩個組件構成：調度器（Scheduler）和應用程式管理器（ApplicationManager，AM）。
• ApplicationMaster（AM）：實際上是一個特定於框架的庫，其任務是協調來自ResourceManager的資源，並與NodeManager一起執行和監控任務。
• NodeManager：負責啟動和管理節點上的容器（Containers ）。
• Scheduler：負責給各個正在運行的擁有相似的約束如容量，隊列等的應用分配資源。
• Containers：執行AppMaster指定的任務。

ResourceManager和NodeManager構成了數據計算框架（ data-computation framework）。