设置基线优先级与YARN队列优先级的映射关系

背景信息

YARN是一个分布式的资源管理系统，用于管理及调度E-MapReduce（简称EMR）集群中资源，为运行在YARN上的各种类型作业分配资源。在YARN中，通过作业的YARN队列优先级，决定YARN优先为哪个作业分配资源，即优先调度运行哪个作业。更多YARN介绍，详情请参见YARN概述。

DataWorks中您可通过如下方式配置调度运行节点任务时使用的YARN队列：

• 方式一（YARN队列全局配置）：通过工作空间的管理中心，设置工作空间级别某DataWorks功能模块运行EMR任务时使用哪个YARN队列。详情请参见配置全局YARN资源队列。

• 方式二（单个节点YARN队列配置）：通过EMR节点编辑页面，设置单个EMR节点调度运行任务使用的YARN队列及队列优先级。详情请参见创建EMR Hive节点、创建EMR Spark节点、创建EMR Spark SQL节点。

若节点所在工作空间开启了全局配置优先，则调度运行该EMR节点任务时优先使用全局配置的YARN；若未开启，则调度运行EMR节点任务则使用节点本身配置的YARN队列。

另外，调度运行EMR任务生效的YARN队列优先级，取决于如下原则：

• 若设置了基线优先级与YARN队列的映射关系，则节点的YARN队列优先级，最终由节点所在基线优先级和该优先级基线映射的YARN队列优先级决定。

• 若未设置基线优先级与YARN队列的映射关系，则使用单个EMR节点配置的YARN队列优先级。

前提条件

已创建EMR节点作业，并配置节点的YARN队列的优先级。详情请参见创建EMR Hive节点、创建EMR Spark节点、创建EMR Spark SQL节点。

使用限制

设置基线优先级与YARN队列的映射关系，相关限制如下：

• 功能相关

  • 仅支持EMR Hive、EMR Spark、EMR Spark SQL节点使用该功能。

  • 您必须先在EMR集群配置YARN队列的最大优先级，配置后才可设置基线优先级与YARN队列的映射关系。

  • YARN队列优先级需进入EMR管理控制台修改，且修改优先级需重启YARN。修改后的优先级仅针对指定队列生效。

  说明

  配置YARN队列优先级，详情请参见DataLake集群配置。

• 权限相关

  • 仅支持租户管理员设置映射关系。如某成员需设置该功能，则可被授予租户管理员角色。授权详情，请参见管理租户成员角色权限。

  • 该功能为租户级别，即设置的映射关系对整个租户生效。

  • 仅拥有AliyunDataWorksAccessingEMRReadOnlyPolicy权限策略的用户可设置映射关系。授权详情请参见为RAM用户授权。

• 资源组相关

  2023年8月31号之前购买的独享调度资源组不支持该功能。若您用于运行EMR任务的独享调度资源组于该日期之前购买，请先联系平台技术人员进行资源组升级，若资源组未升级，配置的映射关系将不生效，即YARN队列优先级最终仍由节点本身配置的YARN队列优先级决定。

映射关系配置入口

1. 进入运维中心页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 运维中心，在下拉框中选择对应工作空间后单击进入运维中心。

2. 在左侧导航栏单击智能基线，进入智能基线配置页面。

映射关系配置逻辑

您可在智能基线 > 基线优先级映射页签设置映射关系。

根据业务情况，选择运行EMR任务的集群及YARN队列，配置基线优先级与该YARN队列优先级的映射关系。配置逻辑如下：

• 配置的YARN队列优先级不能超过EMR集群中YARN队列的最大队列容量。

• YARN队列数字越大优先级越高，也会优先获得资源。

• 低基线优先级映射的YARN队列优先级，取值不能高于高基线优先级。

更多YARN的配置信息，详情请参见YARN。