ResourceManager基本職能和內部架構

• 2019 年 10 月 3 日
• 筆記

ResourceManager負責集群中所有資源的統一管理和分配，它接收來自各個節點的資源彙報資訊，並把這些資訊按照一定的策略分配給各個應用程式

 

ResourceManager基本職能

 

ResourceManager需通過兩個RPC協議與NodeManager和AppMaster交互,具體如下 :

• ResourceTracker : NodeManager通過該RPC協議向ResourceManager註冊、彙報節點健康狀況和Container運行狀態，並領取ResourceManager下達的命令，這些命令包括重新初始化、清理Container等，在該RPC協議中，ResourceManager扮演RPCServer的角色，而NodeManager扮演RPCClient的角色，換句話說，NodeManager與ResourceManager之間採用了“pull模型”,NodeManager總是周期性地主動向ResourceManager發起請求,並通過領取下達給自己的命令 
• ApplicationMasterProtocol ：應用程式的ApplicationMaster通過該RPC協議向ResourceManager註冊、申請資源和釋放資源。在該協議中，ApplicationMaster扮演RPC Client的角色，而ResourceManager扮演RPC Server的角色，換句話說，ResourceManager與ApplicationMaster之間採用了“pull模型”
• ApplicationClientProtocol ：應用程式的客戶端通過該RPC協議向ResouceManager提交應用程式、查詢應用程式狀態和控制應用程式等。在該協議中，應用程式客戶端扮演RPC Client的角色，而ResourceManager扮演RPC Server的角色

 

ResourceManager主要完成以下幾個功能 ：

• 與客戶端交互，處理來自客戶端的請求
• 啟動和管理AppicationMaster，並在它運行失敗時重新啟動它
• 管理NodeManager，接收來自NodeManager的資源彙報資訊，並向NodeManager下達管理指令
• 資源管理與調度，接收來自AppMaster的資源申請請求，並為之分配資源

 

ResouceManager內部架構

 

ResourceManager主要由以下幾個部分組成 ：

• 用戶交互模組。ResourceManager分別針對普通用戶、管理員和Web提供了三種對外服務，具體實現分別對應ClientRMService、AdminService和WebApp
• ClientRMService。ClientRMService是為普通用戶提供的服務，它處理來自客戶端各種RPC請求，比如提交應用程式、終止應用程式、獲取應用程式運行狀態等
• AdminService。ResourceManager為管理員提供了一套獨立的服務介面，以防止大量的普通用戶請求使管理員發送的管理命令餓死，管理員可通過這些介面管理集群，比如動態更新節點列表、更新ACL列表、更新隊列資訊等
• WebApp。為了更加友好地展示集群資源使用情況和應用程式運行狀態等資訊，YARN對外提供了一個WEB介面，這一部分是YARN仿照Haml開發的一個輕量級嵌入式Web框架
• NM管理模組。該模組主要涉及以下組件 ：
• NMLivelinessMonitor。監控NM是否活著，如果一個NodeManager在一定時間內未彙報心跳資訊，則認為它死掉了，需將其從集群中移除
• NodesListManager。維護正常節點和異常節點列表，管理exclude(類似於黑名單)和include(類似於白名單)節點列表，這兩個列表均是在配置文件中設置的，可以動態載入
• ResourceTrackerService。處理來自NodeManager的請求，主要包括註冊和心跳兩種請求，其中，註冊時NodeManager啟動時發生的行為，請求包中包含節點ID、可用的資源上限等資訊；而心跳時周期性行為，包含各個Container運行狀態，運行的Application列表、節點資源狀況等資訊，作為請求的應答，ResourceTrackerService可為NodeManager返回待釋放的Container列表、Application列表等資訊
• AM管理模組。該模組主要涉及以下組件 ：
• AMLivelinessMonitor。監控AM是否活著，如果一個ApplicationMaster在一定時間內未彙報心跳資訊，則認為它死掉了，它上面所有正在運行的Container將被置為失敗狀態，而AM本身會被重新分配到另外一個節點上執行
• ApplicationMasterLauncher。與某個NodeManager通訊，要求它為某個應用程式啟動ApplicationMaster
• ApplicationMasterService。處理來自ApplicationMaster的請求，主要包括註冊和心跳兩種請求，其中，註冊是ApplicationMaster啟動時發生的行為，註冊請求包中包含ApplicationMaster啟動節點；對外RPC埠號和trackingURL等資訊；而心跳而是周期性行為，彙報資訊包含所需資源描述、待釋放的Container列表、黑名單列表等，而AMS則為之返回新分配的Container、失敗的Container、待搶佔的Container列表等資訊
• Application管理模組。該模組主要涉及以下組件 ：
• ApplicationACLsManager。管理應用程式訪問許可權，包含兩部分許可權 ：查看許可權和修改許可權。查看許可權主要用於查看應用程式基本資訊，而修改許可權則主要用於修改應用程式優先順序、殺死應用程式等
• RMAppManager。管理應用程式的啟動和關閉
• ContainerAllocationExpirer。當AM收到RM新分配的一個Container後，必須在一定的時間內在對應的NM上啟動該Container，否則RM將強制回收該Container，而一個已經分配的Container是否該被回收則是由ContainerAllocationExpirer決定和執行的
• 狀態機管理模組。ResourceManager使用有限狀態機維護有狀態對象的生命周期，狀態機的引入使得YARN設計架構更加清晰。ResourceManager共維護了四類狀態機，分別是RMApp、RMAppAttempt、RMContainer和RMNode
• RMApp。RMApp維護了一個應用程式的整個運行周期，包括從啟動到運行結束整個過程。由於一個Application的生命周期可能會啟動多個Application運行實例，因此可認為，RMApp維護的是同一個Application啟動的所有運行實例的生命周期
• RMAppAttempt。一個應用程式可能啟動多個實例，即一個實例運行失敗後，可能再次啟動一個重新運行，而每次啟動稱為一個運行嘗試，用“RMAppAttempt”描述，RMAppAttempt維護了一次運行嘗試的整個生命周期
• RMContainer。RMContainer維護了一個Container的運行周期，包括從創建到運行結束整個過程。RM將資源封裝成Container發送給應用程式的ApplicationMaster，而ApplicationMaster則會在Container描述的運行環境中啟動任務，因此，從這個層面上講，Container和任務的生命周期是一致的
• RMNode。RMNode維護了一個NodeManager的生命周期，包括啟動到運行結束整個過程
• 安全管理模組。ResourceManager自帶了非常全面的許可權管理機制，主要由ClientTOAMSecretManager、ContainerTokenSecretManager、ApplicationTokenSecretManager等模組完成
• 資源分配模組。該模組主要涉及一個組件 -- ResourceScheduler。ResourceScheduler是資源調度器，它按照一定的約束條件將集群中的資源分配給各個應用程式，當前主要考慮記憶體和CPU資源。ResourceScheduler是一個插拔式模組，YARN自帶了一個批處理資源調度器 -- FIFO和兩個多用戶調度器 -- Fair Scheduler和Capacity Scheduler

                                               ResouceManager內部架構圖

 

 

我每天會寫文章記錄大數據技術學習之路,另外我自己整理了些大數據的學習資料,目前全部放在我的公眾號"SmallBird技術分享",加入我們一起學習交流,並且回復'分享'會有大數據資源驚喜等著你~