EMR入门学习之YARN的基本操作（十五）

• 2019 年 11 月 22 日
• 筆記

前言

Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一，YARN 负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。

一、YARN CapacityScheduler调度器

简介

CapacityScheduler允许多租户安全地共享大型集群，以便在分配的容量限制下及时为其应用程序分配资源，同时最大化吞吐量和群集的利用率。

操作步骤

可到EMR控制台->左侧的【组件管理】找到yarn进行配置，在yarn的配置文件yarn-site.xml中开启Fair Scheduler。如下图1：

队列基本配置

CapacityScheduler的配置文件位于hadoop目录下的etc/hadoop/capacity-scheduler.xml。CapacityScheduler有一个名为root的预定义队列。系统中的所有队列都是root队列的子节点。

可以通过在yarn.scheduler.capacity.root.queues配置中，使用逗号分隔的子队列列表来设置更多队列。

下面是一个示例，其中包含三个顶级子队列a，b和c以及a和b的一些子队列：

二、yarn的WebUI使用

我们通过EMR控制台，左侧的【组件管理】进入Yarn的Web UI界面：

Application Queues参数说明

• Queue State：队列状态
• Used Capacity：该队列已使用的资源占该队列的百分比
• Absolute Used Capacity：该队列已使用资源占root队列的百分比
• Absolute Capacity：该队列默认分配的资源占root队列的百分比
• Absolute Max Capacity：该队列分配的资源最大可占父队列的百分比
• Used Resource：该队列使用的资源数量
• Num Schedulable Applications：该队列正在调度的应用数
• Num Non-Schedulable Applications：该队列没有在调度的应用数
• Num Containers：该队列已启动的容器数量
• Max Applications：最大可运行的应用数量（yarn.scheduler.capacity.maximum-applications * Absolute Capacity）
• Max Applications Per User：单个用户最大可运行的应用数量
• Max Schedulable Applications：集群最大可调度应用数量，取决于内存总量、应用最小内存分配、AM可用资源占比
• Max Schedulable Applications Per User：单个用户最大可调度应用数量。（Max Schedulable Applications * 该队列capacity占比 * 单用户可使用队列资源占比）
• Configured Capacity：该队列默认分配的资源占父队列的百分比
• Configured Max Capacity：该队列默认最大占父队列资源的百分比
• Configured Mininum User Limit Percent：单个用户最少可使用队列资源的百分比，最大值与用户数有关
• Configured User Limit Factor：每个User最多可以使用几个其他队列的资源

三、yarn操作的常用命令

背景

需要查看提交到yarn的应用作业情况

命令介绍

yarn application [options]

杀掉某个进程

yarn application -kill <ApplicationId>

说明：<ApplicationId> 可用 -list 查看到，或者登陆YARN快捷访问URL查看。

提交运行YARN应用

提交运行一个YARN的应用jar包。用户可以将写好的YARN代码打包成jar文件，用这个命令去运行它

yarn jar <jar> [mainClass] args...

查看应用的日志

命令介绍

yarn logs -applicationId <application ID> [options]

查看node信息

命令介绍

yarn node [options]

查看YARN container信息

命令介绍

yarn container [options]

查看YARN版本

yarn version