E-MapReduce(以下简称EMR) 集群资源管理主要应用于大集群多租户场景中。

EMR集群资源管理可以帮助您实现以下目标:
  • 集群资源中不同部门或用户使用不同的资源队列,实现队列资源的隔离。
  • 各队列具有一定的弹性,提高集群的使用效率。
说明
  • 目前EMR集群资源管理支持Capacity SchedulerFair Scheduler两种调度器。
  • EMR集群资源管理目前仅支持对EMR Hadoop类型的常驻集群进行管理。

开启资源队列

  1. 登录阿里云 E-MapReduce 控制台
  2. 单击上方的集群管理
  3. 集群管理页面中,单击对应集群后面的详情
  4. 在集群详情页面,单击左侧导航栏中的集群资源管理cluster_info
  5. 集群资源管理页面,单击开启YARN 资源队列,然后单击 Capacity SchedulerFair Scheduler
    注意 开启集群资源队列后,YARN组件配置中的Capacity Scheduler和Fair Scheduler配置区域将处于冻结状态,相关已有配置将会同步到集群资源管理页面中。如需继续在YARN组件配置中通过XML的方式设置集群资源,则需先在集群资源管理中关闭YARN资源队列。
  6. 单击保存,开启资源队列。

配置资源队列

  1. 单击资源队列配置进入各队列配置页面。
  2. 单击设置调度器默认值设置的是调度器默认配置。

资源队列生效

配置完资源队列后,您可单击配置检查,预览配置的XML,确认无误后单击部署生效。

说明
  • 切换调度器类型(例如从Fair Scheduler切换到Capacity Scheduler),Fair Scheduler中修改集群资源抢占相关参数,修改完成后需在集群与服务管理页面对YARN进行操作,重启YARN all Component。
  • 新建资源队列等,设置资源队列的相关参数后,直接单击部署生效即可让配置生效。
  • 配置生效过程中,您可在集群与服务管理页面,单击右上角的查看操作历史,查看配置生效的进度。