弹性伸缩

更新时间: 2025-01-17 18:14:38

弹性伸缩是E-MapReduce提供的能够根据业务需求和策略自动调整计算能力(即节点数量)的功能。您可以为节点组设置托管弹性伸缩或自定义弹性伸缩规则,在业务需求增长时,弹性伸缩自动为节点组增加节点,来保证计算能力;在业务需求下降时,弹性伸缩会自动为节点组减少节点,来节约成本。

EMR托管弹性伸缩与自定义弹性伸缩特性对比

特性

托管弹性伸缩

自定义弹性伸缩

弹性规则

无需配置规则,EMR通过持续评估集群资源情况自动伸缩。

需自定义弹性伸缩的触发规则,根据时间或负载情况配置相关参数,实现自动伸缩。

支持的EMR版本

EMR-3.43.0及之后版本、EMR-5.9.0及之后版本

EMR-3.42.0及之后版本、EMR-5.8.0及之后版本

弹性粒度

集群级别,智能选择节点组

节点组级别

指标收集频率

5s

30s

监测频率

5-10s

30s

基于自定义指标

应用场景

在以下场景中,使用E-MapReduce的弹性伸缩功能,可以帮助您节省成本,提高执行效率。

  • 业务计算负载曲线有明显的波峰波谷情况,可选择开启托管弹性伸缩规则或自定义弹性伸缩规则中增加按负载弹性规则。

  • 临时需要按照时间段添加节点,快速补充计算能力,可在自定义弹性伸缩规则中增加按时间弹性规则。

使用限制

集群类型

使用限制

DataLake、Dataflow、OLAP和Custom集群

仅支持付费类型为抢占式实例或按量付费的Task节点组。

旧版Hadoop集群

  • 仅支持付费模式为抢占式实例或按量付费的Task节点组。

  • 需要新建弹性伸缩专用的伸缩组,该节点组不支持手动扩缩容。

  • 每次仅支持一个伸缩组处于开启状态。

  • 按时间伸缩规则和按负载伸缩规则,使用时两者只能二选一。

使用方式

集群类型

相关文档

DataLake、Dataflow、OLAP和Custom集群

旧版Hadoop集群

上一篇: 扩容磁盘 下一篇: 弹性伸缩概述
阿里云首页 开源大数据平台 E-MapReduce 相关技术圈