文档

管理调度资源组

更新时间:

调度资源组用于任务的调度运行。首次开通EMR Workflow服务时,将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求,您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后,在实际使用前您还需进行绑定集群、关联工作空间等操作。本文为您介绍从购买到使用调度资源组的完整流程。

前提条件

  • 购买和使用调度资源组前,您需了解调度资源组的规格指标及计费规格等细节,提前根据业务场景规划按需购买调度资源组,详情请参见调度资源组计费说明

  • 已在EMR on ECS页面创建集群或集群模板,详情请参见创建集群创建集群模板

使用限制

  • 暂不支持向已启用Kerberos认证的集群提交作业。

  • 仅阿里云账号(主账号)或拥有AliyunEMRWorkflowAdmin权限的RAM用户可以进行购买调度资源组、绑定集群、关联工作空间的操作。

  • 调度资源组不支持跨地域使用。例如,华东2(上海)地域的独享调度资源组,只能给华东2(上海)地域的工作空间使用。

  • 调度资源组只能绑定一个EMR集群或集群模板。如果需更换绑定对象,请先解除当前绑定,然后再将资源组关联至新的指定集群。

  • 绑定集群或集群模板阶段,仅支持绑定下列可用区的交换机。

    • 中国地区

      地域名称

      地域ID

      可用区名称

      华东1(杭州)

      cn-hangzhou

      • 杭州 可用区H

      • 杭州 可用区I

      华北2(北京)

      cn-beijing

      • 北京 可用区F

      • 北京 可用区G

      • 北京 可用区H

      华东2(上海)

      cn-shanghai

      • 上海 可用区F

      • 上海 可用区G

      华南1(深圳)

      cn-shenzhen

      深圳 可用区E

      西南1(成都)

      cn-chengdu

      成都 可用区B

      华北3(张家口)

      cn-zhangjiakou

      张家口 可用区B

      中国香港

      cn-hongkong

      香港 可用区C

    • 其他国家和地区

      地域名称

      地域ID

      可用区名称

      美国(硅谷)

      us-west-1

      硅谷 可用区B

      新加坡

      ap-southeast-1

      新加坡 可用区C

      德国(法兰克福)

      eu-central-1

      法兰克福 可用区B

      马来西亚(吉隆坡)

      ap-southeast-3

      吉隆坡 可用区B

操作流程

从购买至使用调度资源组,您需要进行的主要操作流程如下。

步骤

描述

参考链接

1

首次开通EMR Workflow服务时,将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求,您可以购买付费调度资源组。

根据您实际的业务需求,可以使用Workflow提供的默认资源组或者购买付费调度资源组。

购买调度资源组

2

默认情况下调度资源组不会绑定到任何EMR集群或集群模板。您需要手动规划并设置资源组与特定的EMR集群或集群模板之间的绑定。

绑定集群或集群模板

3

  • 默认资源组开通时已自动关联至default工作空间。如果您需要将默认资源组关联至其他工作空间,请先解除关联,然后重新关联目标工作空间。

  • 购买调度资源组后,它默认不属于任何工作空间。您需要自行规划并关联该资源组到一个指定的工作空间。

关联工作空间

4

在成功将工作空间与调度资源组进行关联后,您在执行工作流任务时便能够根据实际需求灵活选用已绑定的、符合预期资源配置的资源组。

使用调度资源组

5

在使用过程中,您可以随时查看调度资源组的资源使用情况。

查看调度资源组利用率

6

在使用过程中,您可以根据实际业务需求灵活对调度资源组进行扩缩容。

扩缩容调度资源组

7

为了提高资源效率并避免浪费,当调度资源组不再被需要、且未绑定集群或集群模板、未关联工作空间时,您可以将其释放。

(可选)释放调度资源组

购买调度资源组

  1. 进入调度资源组页面。

    1. 使用阿里云账号(主账号)登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Workbench > Workflow

    3. 在Workflow页面,单击调度资源组

  2. 调度资源组页面,单击创建调度资源组

    默认调度资源组如下图所示。

    image

  3. 在E-MapReduce Workflow页面,完成相关配置。

    参数

    说明

    调度资源组类型

    • 集群资源组:仅支持绑定EMR集群。

    • 集群模板资源组:仅支持绑定EMR集群模板。

    地域

    地域指数据中心所在的地理区域,建议选择与您数据所在地相同的地域,创建完成后不支持更改地域。

    说明

    调度资源组不支持跨地域使用。例如,华东2(上海)地域的调度资源组,只适用于华东2(上海)地域的工作空间。

    调度资源组名称

    调度资源组的名称。

    调度资源组规格

    选择所需的调度资源组规格,详情请参见资源规格

    资源组节点数量

    根据业务需求,配置所需的资源组节点数量。

    说明

    如果资源组类型是集群模板资源组,当使用该资源组启动一个工作流实例时,系统会根据预配置动态生成2个资源组节点。购买该资源组时所设定的资源组节点数量,则是该集群模板资源组在运行过程中能够动态创建的最大资源组节点上限。

  4. 选中服务协议,单击立即购买,根据界面提示进行付款等操作后即可完成购买调度资源组。

绑定集群或集群模板

说明

调度资源组只能绑定一个EMR集群或集群模板。如果需更换绑定对象,请先解除当前绑定,然后再重新绑定集群或集群模板。

  1. 调度资源组页面,单击目标资源组操作列的绑定集群

  2. 绑定EMR集群/集群模板中,单击对应集群或集群模板操作列的绑定

  3. 交换机安全组的下拉列表中,选择已有的交换机和安全组。

    参数

    说明

    交换机

    选择用于资源组节点与待绑定的EMR集群连通的交换机,仅支持选择特定可用区下的交换机,详情请参见使用限制

    安全组

    选择资源组节点加入的安全组,默认情况下会采用EMR集群自身的安全组。如果您不选择默认的集群安全组,或者安全组内的连通策略为组内隔离模式,则须确保事先配置好适当的安全组规则,以允许资源组节点能够顺利访问其所要绑定的EMR集群。

  4. 单击确定,即可将调度资源组与指定集群或集群模板绑定。

关联工作空间

默认资源组开通时已自动关联至default工作空间。调度资源组需要关联归属的工作空间,才可以在对应的工作空间下选择使用该调度资源组及该调度资源组绑定的集群或集群模板。一个调度资源组可以关联多个工作空间使用,但不支持跨地域使用。

  1. 调度资源组页面,单击目标资源组操作列的关联工作空间

  2. 关联工作空间对话框中,单击对应工作空间操作列的关联

  3. 在弹出的对话框中,单击确定,即可将调度资源组绑定至此工作空间。

使用调度资源组

在执行工作流定义、调度定时任务以及手动触发任务操作时,您可以选择适合的资源组作为目标运行环境。

例如,进入Workflow工作空间,在项目管理页签下的工作流定义页面,单击工作流定义操作列的运行,在调度资源组下拉列表中选择目标资源组。

image

查看调度资源组利用率

说明

仅处于运行中状态的调度资源组支持查看资源利用率。

  1. 进入调度资源组页面。

    1. 使用阿里云账号(主账号)登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Workbench > Workflow

    3. 在Workflow页面,单击调度资源组

  2. 调度资源组页面,单击目标调度资源组的监控列的image图标。

  3. 资源监控面板中,您可以查看该资源组的利用率。

扩缩容调度资源组

  1. 调度资源组页面,选择需要变更节点数量的调度资源组操作列的image > 扩容image > 缩容

  2. 在变配页面,修改资源组节点数量。

    重要
    • 仅支持变更调度资源组的节点数量,变更后的调度资源组规格与当前规格保持一致。

    • 请尽量避免在线上工作流调度时缩容。如果有工作流或任务运行在被缩容的节点上,将触发该作业重新运行。

  3. 选中服务协议,单击立即购买,即可完成调度资源组的扩缩容。

    返回调度资源组页面,可以查看调度资源组的变更情况。

(可选)释放调度资源组

说明

仅可释放处于未绑定状态且未关联工作空间的调度资源组。

  1. 调度资源组页面,单击目标资源组操作列的释放

  2. 释放调度资源组对话框中,单击确定

相关文档

  • 本页导读 (1)