创建托管弹性伸缩策略

更新时间:2025-01-17 10:14:43

托管弹性伸缩功能是通过配置Task节点的最大值和最小值,使E-MapReduce(简称EMR)能够自动根据您的业务负载动态调整Task节点数量,并根据历史作业执行情况来优化资源分配。这样既保证了任务的顺利完成,又有效控制了成本。本文为您介绍如何创建托管弹性伸缩策略。

前提条件

  • 已创建数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)或自定义场景(Custom)的集群,详情请参见创建集群

  • 已在集群中创建了按量付费或者抢占式实例的Task节点组,详情请参见新增节点组

使用限制

  • 为避免由于ECS库存不足造成的弹性伸缩失败,您可以在新增节点组时配置多种实例规格,最多可以选择10ECS实例规格作为备选,系统将按照您选择的顺序购买实例。每个节点创建时,会从第一个规格开始尝试,如果该规格库存不足,则依次尝试下一个规格,直到创建成功。最终购买的实例规格可能随库存变化而不同。

  • 仅部署了YARN服务的集群,支持配置托管弹性伸缩规则。

  • 若集群中存在Trino、Presto、StarRocks、ImpalaClickhouse服务,则托管的弹性伸缩效果将无法得到保障。

注意事项

当您切换弹性伸缩模式时,原有弹性伸缩规则将会失效,请谨慎操作。

操作步骤

方式一:为已有集群创建托管伸缩规则

托管弹性伸缩功能开启后,系统将持续监控集群YARN的负载,并计算过去时间内的负载峰值变化情况,以便自动调整Task节点的数量。

  1. 进入弹性伸缩页面。

    1. 登录EMR on ECS

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群的集群名称。

    4. 单击上方的弹性伸缩

  2. 弹性伸缩配置页签的配置弹性伸缩规则区域,单击托管弹性伸缩规则

  3. 配置伸缩规则。

    1. 在弹出的对话框中,单击重新配置,配置相关参数。

      • 最小Task节点数:托管缩容策略触发时,集群最少保留弹性伸缩的Task节点数。

      • 最大Task节点数:托管扩容策略触发时,集群最多保留弹性伸缩的Task节点数。

      • 最大按量Task节点数:扩容触发后最大扩容的按量计费节点数量,用于设置按量计费节点和竞价实例的占比,默认为最大Task节点数。

        说明

        如果集群中存在抢占式实例的Task节点组,则最大按量Task节点数可以小于最大Task节点数。例如,当最小Task节点数设为0,最大Task节点数设为20,而最大按量Task节点数设为15时,在扩容过程中,系统会首先尝试增加15个按量计费的节点,之后如果有进一步的需求,则使用抢占式实例来补充剩余所需的节点数量。

    2. 配置完后,单击保存并应用

方式二:创建集群时创建托管伸缩规则

  1. 登录EMR on ECS

  2. 在顶部菜单栏处,根据实际情况选择地域和资源组

  3. 单击创建集群,参数详情请参见创建集群

    说明

    您必须在集群下增加按量付费或抢占式实例的Task节点组,才可以配置相应的规则。

  4. 配置集群伸缩

    1. 选择托管弹性伸缩规则

    2. 单击托管弹性伸缩规则右侧的编辑,配置相关参数,单击保存并应用

      • 最小Task节点数:托管缩容策略触发时,集群最少保留弹性伸缩的Task节点数。

      • 最大Task节点数:托管扩容策略触发时,集群最多保留弹性伸缩的Task节点数。

      • 最大按量Task节点数:扩容触发后最大扩容的按量计费节点数量,用于设置按量计费节点和竞价实例的占比,默认为最大Task节点数。

        说明

        如果集群中存在抢占式实例的Task节点组,则最大按量Task节点数可以小于最大Task节点数。例如,当最小Task节点数设为0,最大Task节点数设为20,而最大按量Task节点数设为15时,在扩容过程中,系统会首先尝试增加15个按量计费的节点,之后如果有进一步的需求,则使用抢占式实例来补充剩余所需的节点数量。

  5. 确认订单,创建集群。

  • 本页导读 (1)
  • 前提条件
  • 使用限制
  • 注意事项
  • 操作步骤
  • 方式一:为已有集群创建托管伸缩规则
  • 方式二:创建集群时创建托管伸缩规则