管理调度资源组

前提条件

• 购买和使用调度资源组前，您需了解调度资源组的规格指标及计费规格等细节，提前根据业务场景规划按需购买调度资源组，详情请参见调度资源组计费说明。

• 已在EMR on ECS页面创建集群或集群模板，详情请参见创建集群或创建集群模板。

注意事项

代码的运行环境由所属用户负责管理和配置。

使用限制

• 暂不支持向已启用Kerberos认证的集群提交作业。

• 仅阿里云账号（主账号）或拥有AliyunEMRWorkflowAdmin权限的RAM用户可以进行购买调度资源组、绑定集群、关联工作空间的操作。

• 调度资源组不支持跨地域使用。例如，华东2（上海）地域的独享调度资源组，只能给华东2（上海）地域的工作空间使用。

• 调度资源组只能绑定一个EMR集群或集群模板。如果需更换绑定对象，请先解除当前绑定，然后再将资源组关联至新的指定集群。

• 绑定集群或集群模板阶段，仅支持绑定下列可用区的交换机。

  • 中国地区

    地域名称	地域ID	可用区名称
    华东1（杭州）	cn-hangzhou	杭州 可用区H 杭州 可用区I
    华北2（北京）	cn-beijing	北京 可用区F 北京 可用区G 北京 可用区H
    华东2（上海）	cn-shanghai	上海 可用区F 上海 可用区G
    华南1（深圳）	cn-shenzhen	深圳 可用区E
    西南1（成都）	cn-chengdu	成都 可用区B
    华北3（张家口）	cn-zhangjiakou	张家口 可用区B
    中国香港	cn-hongkong	香港 可用区C

  • 其他国家和地区

    地域名称	地域ID	可用区名称
    美国（硅谷）	us-west-1	硅谷 可用区B
    新加坡	ap-southeast-1	新加坡 可用区C
    德国（法兰克福）	eu-central-1	法兰克福 可用区B
    马来西亚（吉隆坡）	ap-southeast-3	吉隆坡 可用区B

操作流程

从购买至使用调度资源组，您需要进行的主要操作流程如下。

购买调度资源组

1. 进入调度资源组页面。

   1. 使用阿里云账号（主账号）登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Workbench > Workflow。

   3. 在Workflow页面，单击调度资源组。

2. 在调度资源组页面，单击创建调度资源组。

   默认调度资源组如下图所示。

   

3. 在E-MapReduce Workflow页面，完成相关配置。

   参数	说明
   调度资源组类型	集群资源组：仅支持绑定EMR集群。 集群模板资源组：仅支持绑定EMR集群模板。
   地域	地域指数据中心所在的地理区域，建议选择与您数据所在地相同的地域，创建完成后不支持更改地域。 说明 调度资源组不支持跨地域使用。例如，华东2（上海）地域的调度资源组，只适用于华东2（上海）地域的工作空间。
   调度资源组名称	调度资源组的名称。
   调度资源组规格	选择所需的调度资源组规格，详情请参见资源规格。
   资源组节点数量	根据业务需求，配置所需的资源组节点数量。 说明 如果资源组类型是集群模板资源组，当使用该资源组启动一个工作流实例时，系统会根据预配置动态生成2个资源组节点。购买该资源组时所设定的资源组节点数量，则是该集群模板资源组在运行过程中能够动态创建的最大资源组节点上限。

4. 选中服务协议，单击立即购买，根据界面提示进行付款等操作后即可完成购买调度资源组。

绑定集群或集群模板

1. 在调度资源组页面，单击目标资源组操作列的绑定集群。

2. 在绑定EMR集群/集群模板中，单击对应集群或集群模板操作列的绑定。

3. 从交换机和安全组的下拉列表中，选择已有的交换机和安全组。

   参数	说明
   交换机	选择用于资源组节点与待绑定的EMR集群连通的交换机，仅支持选择特定可用区下的交换机，详情请参见使用限制。
   安全组	选择资源组节点加入的安全组，默认情况下会采用EMR集群自身的安全组。如果您不选择默认的集群安全组，或者安全组内的连通策略为组内隔离模式，则须确保事先配置好适当的安全组规则，以允许资源组节点能够顺利访问其所要绑定的EMR集群。

4. 单击确定，即可将调度资源组与指定集群或集群模板绑定。

关联工作空间

默认资源组开通时已自动关联至default工作空间。调度资源组需要关联归属的工作空间，才可以在对应的工作空间下选择使用该调度资源组及该调度资源组绑定的集群或集群模板。一个调度资源组可以关联多个工作空间使用，但不支持跨地域使用。

1. 在调度资源组页面，单击目标资源组操作列的关联工作空间。

2. 在关联工作空间对话框中，单击对应工作空间操作列的关联。

3. 在弹出的对话框中，单击确定，即可将调度资源组绑定至此工作空间。

使用调度资源组

在执行工作流定义、调度定时任务以及手动触发任务操作时，您可以选择适合的资源组作为目标运行环境。

例如，进入Workflow工作空间，在项目管理页签下的工作流定义页面，单击工作流定义操作列的运行，在调度资源组下拉列表中选择目标资源组。

查看调度资源组利用率

1. 进入调度资源组页面。

   1. 使用阿里云账号（主账号）登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Workbench > Workflow。

   3. 在Workflow页面，单击调度资源组。

2. 在调度资源组页面，单击目标调度资源组的监控列的图标。

3. 在资源监控面板中，您可以查看该资源组的利用率。

扩缩容调度资源组

1. 在调度资源组页面，选择需要变更节点数量的调度资源组操作列的 > 扩容或 > 缩容。

2. 在变配页面，修改资源组节点数量。

   重要

   • 仅支持变更调度资源组的节点数量，变更后的调度资源组规格与当前规格保持一致。

   • 请尽量避免在线上工作流调度时缩容。如果有工作流或任务运行在被缩容的节点上，将触发该作业重新运行。

3. 选中服务协议，单击立即购买，即可完成调度资源组的扩缩容。

   返回调度资源组页面，可以查看调度资源组的变更情况。

（可选）释放调度资源组

1. 在调度资源组页面，单击目标资源组操作列的释放。

2. 在释放调度资源组对话框中，单击确定。