部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略,从而提升ECS实例的容灾能力和可用性。在创建EMR集群或新增节点组时,您可以选择是否启用部署集,并为不同节点组配置不同的部署集策略,从而提升集群的容灾能力和可用性。本文介绍如何在创建集群和新增节点组时开启加入部署集开关。
使用限制
-
本文操作仅适用于数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和自定义集群(Custom)场景的集群。
-
创建集群时配置的节点组部署集,创建完成后不支持更改。
-
仅Master和Core类型的节点组支持加入部署集。
-
最多支持20台ECS实例加入部署集。
注意事项
-
如果您的集群数据存储方案为本地HDFS存储方案,且Core节点使用了本地盘机型(大数据型、本地SSD),建议您为使用本地盘机型的Core节点组开启部署集功能来提升数据安全性。
-
由于加入部署集后节点组的节点数会受到限制,所以请您谨慎选择是否为节点组开启加入部署集开关。
-
如果创建集群时开启服务高可用开关,则Master节点会默认开启加入部署集开关。
-
EMR集群释放后会自动释放集群关联的部署集,请勿在EMR自动创建的部署集内手动添加其他ECS实例。
创建集群时开启加入部署集
-
进入EMR on ECS页面。
在左侧导航栏,单击EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的创建集群。
-
在创建集群时的硬件配置阶段,如果节点组类型为Master或Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)将加入部署集。
配置集群信息,具体请参见创建集群。

新建节点组时开启加入部署集
进入节点管理页面。
在左侧导航栏,单击EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
在EMR on ECS页面,单击目标集群操作列的节点管理。
-
在节点管理页面,单击新增节点组。
-
在新增节点组页面进行配置。如果节点组类型为Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)会加入部署集。
新增节点组的详细信息,请参见新增节点组。

查看部署集
登录ECS管理控制台。
在左侧导航栏,选择。
在页面左侧顶部,选择目标资源所在的资源组和地域。
-
在部署集页面,您可以查看集群关联的部署集信息,部署集命名规则为emr-${clusterId}-default。
重要请勿操作EMR自动创建的部署集,以免影响集群正常运行。

相关文档
如需详细了解部署集,请参见部署集。
> 部署集