如果Hadoop集群计算量在一定的周期内存在明显的波峰和波谷,则您可以设置在每天、每周或每月的固定时间段扩展一定量的Task节点来补充计算能力,这样在保证作业完成的同时,也可以节省成本。
前提条件
已新建弹性伸缩机器组,请参见新建弹性伸缩机器组。
按时间配置伸缩规则
基本信息和成本优化策略的配置详情,请参见管理弹性伸缩。
在E-MapReduce中开启弹性伸缩时,如果选择按时间配置伸缩规则,则根据以下说明配置相关参数即可。
伸缩规则分为扩容规则和缩容规则,本文以扩容规则为例介绍。集群关闭弹性伸缩功能后,所有规则会被清空,再次开启弹性伸缩功能时,需要重新配置伸缩规则。

参数 | 描述 |
---|---|
规则名称 | 在同一个集群中,伸缩规则名称(包括扩容规则和缩容规则)不允许重复。 |
规则执行周期 |
|
重试过期时间(秒) | 弹性伸缩在到达指定时间时可能由于各种原因不能执行,通过设置重试过期时间,系统会在该时间范围内每隔30秒尝试执行一次,直到在满足条件时执行伸缩。设置范围为0~21600秒。
假设在指定时间段需要进行弹性伸缩动作A,如果有其他弹性伸缩动作B正在执行或正处在冷却期,则动作A无法执行。在您设置的重试过期时间内,每隔30秒会重试一次,尝试执行A,一旦条件满足,集群会立刻执行弹性伸缩。 |
扩容(台) | 规则被触发时,集群每次增加Task节点数量。 |
冷却时间(秒) | 每次弹性伸缩动作执行完成,到可以再次进行弹性伸缩的时间间隔。在冷却时间内,不会发生弹性伸缩动作。 |
配置伸缩规格
弹性伸缩配置可以指定伸缩的节点的硬件规格。您只能在开启弹性伸缩功能时配置,保存后不能更改。如果特殊情况确实需要修改,可以关闭弹性伸缩功能后,再次开启。
- 系统会根据您选择的vCPU和内存规格,自动匹配出满足条件的实例,并显示在备选实例列表中。您需要选中备选的实例,以便集群按照已选的实例规格进行伸缩。
- 为避免由于ECS库存不足造成的弹性伸缩失败,您最多可以选择3种ECS实例。
- 无论是选择高效云盘还是SSD云盘,数据盘最小设置为40GB。