部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略,从而提升ECS实例的容灾能力和可用性。在创建EMR集群或新增节点组时,您可以选择是否启用部署集,并为不同节点组配置不同的部署集策略,从而提升集群的容灾能力和可用性。本文介绍如何在创建集群和新增节点组时开启加入部署集开关。
使用限制
本文操作仅适用于新版数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和自定义集群(Custom)场景的集群。
创建集群时配置的节点组部署集,创建完成后不支持更改。
仅Master和Core类型的节点组支持加入部署集。
最多支持20台ECS实例加入部署集。
部署集支持的实例规格族信息:
说明部分规格族只支持特定的部署集策略,您可以调用DescribeDeploymentSetSupportedInstanceTypeFamily获取各种部署集策略支持的实例规格族信息。
部署策略
支持的实例规格族
高可用策略和部署集组高可用策略
g8i、g8y、g7se、g7a、g7、g7t、g7ne、g7nex、g6、g6e、g6a、g6h、g5、g5ne、sn2ne
c8i、c8y、c7se、c7、c7t、c7nex、c7a、c6、c6a、c6e、c5、ic5、sn1ne
r8y、r7、r7se、r7t、r7a、r6、r6e、r6a、re6、re6p、r5、re4、se1ne、se1
hfc8i、hfg8i、hfr8i、hfc7、hfg7、hfr7、hfc6、hfg6、hfr6、hfc5、hfg5
d3s、d3c、d2s、d2c、d1、d1ne、d1-c14d3、d1-c8d3
i4、i4g、i4r、i3g、i3、i2、i2g、i2ne、i2gne、i1
ebmg5、ebmc7、ebmg7、ebmr7、sccgn6、scch5、scch5s、sccg5、sccg5s
e、s6、t6、xn4、mn4、n4、e4
gn6i
u1
网络低时延策略
g8a、g8i、g8ae、g8y
c8a、c8i、c8ae、c8y
r8a、r8i、r8ae、r8y
i4
hfc8i、hfg8i、hfr8i
ebmgn7ex、ebmc7、ebmg7、ebmr7
注意事项
如果您的集群数据存储方案为本地HDFS存储方案,且Core节点使用了本地盘机型(大数据型、本地SSD),建议您为使用本地盘机型的Core节点组开启部署集功能来提升数据安全性。
由于加入部署集后节点组的节点数会受到限制,所以请您谨慎选择是否为节点组开启加入部署集开关。
如果创建集群时开启服务高可用开关,则Master节点会默认开启加入部署集开关。
EMR集群释放后会自动释放集群关联的部署集,请勿在EMR自动创建的部署集内手动添加其他ECS实例。
创建集群时开启加入部署集
进入EMR on ECS页面。
在左侧导航栏,单击EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
单击上方的创建集群。
在创建集群时的硬件配置阶段,如果节点组类型为Master或Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)将加入部署集。
配置集群信息,具体请参见创建集群。
新建节点组时开启加入部署集
进入节点管理页面。
在左侧导航栏,单击EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
在EMR on ECS页面,单击目标集群操作列的节点管理。
在节点管理页面,单击新增节点组。
在新增节点组页面进行配置。如果节点组类型为Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)会加入部署集。
新增节点组的详细信息,请参见新增节点组。
查看部署集
登录ECS管理控制台。
在左侧导航栏,选择 。
在页面左侧顶部,选择目标资源所在的资源组和地域。
在部署集页面,您可以查看集群关联的部署集信息,部署集命名规则为emr-${clusterId}-default。
重要请勿操作EMR自动创建的部署集,以免影响集群正常运行。
相关文档
如需详细了解部署集,请参见部署集概述。