E-MapReduce(以下简称 EMR) 集群资源管理主要应用于大集群多租户场景中。

EMR 集群资源管理可以帮助用户实现以下目标:
  • 集群资源中不同部门或用户使用不同的资源队列,实现队列资源的隔离。
  • 各队列具有一定的弹性,提高集群的使用效率。
说明
  • 目前 EMR 集群资源管理支持 Capacity SchedulerFair Scheduler 两种调度器。
  • EMR 集群资源管理目前仅支持对 EMR Hadoop 类型的常驻集群进行管理。

开启资源队列

  1. 登录阿里云 E-MapReduce 控制台,单击集群管理进入集群管理页面。
  2. 单击对应集群右侧的管理
  3. 在左侧导航栏中单击集群资源管理

  4. 单击开启 YARN 资源队列
    注意 开启集群资源队列后,YARN 组件 配置中的 Capacity Scheduler 和 Fair Scheduler 配置区域将处于冻结状态,相关已有配置将会同步到集群资源管理页面中。如需继续在 YARN 组件 配置中通过 XML 的方式设置集群资源,需在 集群资源管理关闭 YARN 资源队列。

配置资源队列

  • EMR 资源队列开启后,首先选择调度器类型,Fair Scheduler 或 Capacity Scheduler。
  • 单击资源队列配置进入各队列配置页面。
  • 单击设置调度器默认值设置的是调度器默认配置。

资源队列生效

配置完资源队列后,用户可以单击配置检查按钮,预览配置的 XML,确认无误后单击部署生效。

说明
  • 切换调度器类型(如从 Fair Scheduler 切换到 Capacity Scheduler),Fair Scheduler 中修改集群资源抢占相关参数,修改完成后需在集群与服务管理页面对 YARN 进行操作,重启 YARN all Component。
  • 新建资源队列等,设置资源队列的相关参数,直接点击部署生效即可让配置生效。
  • 配置生效过程可以在集群与服务管理页面,查看操作历史查看生效进度。