弹性伸缩
弹性伸缩是E-MapReduce提供的能够根据业务需求和策略自动调整计算能力(即节点数量)的功能。您可以为节点组设置托管弹性伸缩或自定义弹性伸缩规则,在业务需求增长时,弹性伸缩自动为节点组增加节点,来保证计算能力;在业务需求下降时,弹性伸缩会自动为节点组减少节点,来节约成本。
EMR托管弹性伸缩与自定义弹性伸缩特性对比
特性 | 托管弹性伸缩 | 自定义弹性伸缩 |
弹性规则 | 无需配置规则,EMR通过持续评估集群资源情况自动伸缩。 | 需自定义弹性伸缩的触发规则,根据时间或负载情况配置相关参数,实现自动伸缩。 |
支持的EMR版本 | EMR-3.43.0及之后版本、EMR-5.9.0及之后版本 | EMR-3.42.0及之后版本、EMR-5.8.0及之后版本 |
弹性粒度 | 集群级别,智能选择节点组 | 节点组级别 |
指标收集频率 | 5s | 30s |
监测频率 | 5-10s | 30s |
基于自定义指标 | 否 | 是 |
应用场景
在以下场景中,使用E-MapReduce的弹性伸缩功能,可以帮助您节省成本,提高执行效率。
业务计算负载曲线有明显的波峰波谷情况,可选择开启托管弹性伸缩规则或自定义弹性伸缩规则中增加按负载弹性规则。
临时需要按照时间段添加节点,快速补充计算能力,可在自定义弹性伸缩规则中增加按时间弹性规则。
使用限制
集群类型 | 使用限制 |
DataLake、Dataflow、OLAP和Custom集群 | 仅支持付费类型为抢占式实例或按量付费的Task节点组。 |
旧版Hadoop集群 |
|
使用方式
集群类型 | 相关文档 |
DataLake、Dataflow、OLAP和Custom集群 | |
旧版Hadoop集群 |