本文汇总了集群管理的常见问题。
- EMR支持哪些地域?
- EMR集群是否支持升级版本?
- EMR支持Hue服务吗?如果不支持是否有替代方案?
- 高可用集群为什么部署3个Master节点?
- EMR集群都支持哪些服务?
- 如何开启磁盘加密?开启后有什么影响?
- 如何清理创建失败的集群?
- 修改服务配置后,是否需要重启服务?
- 如何开启磁盘加密?开启后有什么影响?
- 创建集群后,还支持新增服务吗?
- 是否支持磁盘的扩缩容?
- 是否支持集群的扩缩容?
- 扩容集群如何指定磁盘大小?
- 什么场景下开启部署集?
- 扩容集群如何指定部署集?
- EMR的滚动重启是什么意思?
- 集群创建后如何绑定公网IP?
- 如何更换节点组ECS实例的配置?
EMR集群是否支持升级版本?
EMR集群不支持升级,也不能进行服务的升级。如果有升级需求,请释放集群并重新创建集群。
EMR集群都支持哪些服务?
不同版本、不同集群支持的服务有所不同,详情请参见版本概述。
EMR支持Hue服务吗?如果不支持是否有替代方案?
EMR DataLake集群(EMR-5.8.0和EMR-3.42.0及以上版本)不再包含HUE组件。如果您想在DataLake集群使用Hue,请参见在DataLake集群自建Hue组件。
高可用集群为什么部署3个Master节点?
新版EMR高可用集群采用3 Master节点,比2 Master更具可靠性。现在已不支持2 Master节点。
对于高可用集群,EMR会把Master节点分布在不同的底层硬件上以降低故障风险。
EMR支持哪些地域?
当前EMR支持的地域有:华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、澳大利亚(悉尼)、马来西亚(吉隆坡)、印度尼西亚(雅加达)、印度(孟买)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、阿联酋(迪拜)。
如何开启磁盘加密?开启后有什么影响?
加密数据盘后,数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求,则可以使用该功能。数据盘加密后在ECS的OS层面对应用是透明的,因此不会影响作业运行。
如何清理创建失败的集群?
集群创建失败,通常是由于RDS配置错误导致集群部署失败,或者是由于部分ECS没有库存导致的。
如果在创建过程中,集群已经创建出来部分ECS实例,且集群状态为启动失败,这时需要您前往ECS控制台释放该部分ECS实例,在您的ECS实例全部被释放后,EMR集群将会自动释放。
如果在创建过程中,EMR部署失败,且集群状态为异常终止,此时集群不存在任何资源,也不存在任何收费,您可以单击目标集群操作列的删除,清除该集群。
创建集群后,还支持新增服务吗?
EMR支持在集群创建成功后新增部分未安装的服务,详情请参见新增服务。
修改服务配置后,是否需要重启服务?
EMR集群的Spark、Hive、HDFS等服务端类型配置修改后,需要重启服务才能生效。EMR集群的客户端类型配置修改后,只需要单击部署客户端配置就能生效,不用重启服务。修改或添加配置项的具体操作请参见管理配置项。
如何查询EMR集群有哪些节点?
您可以通过ListNodes接口查询EMR集群节点列表,详情请参见ListNodes - 查询节点。
EMR的滚动重启是什么意思?
滚动重启机制是指在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。
集群创建后如何绑定公网IP?
您可以单独申请EIP地址,并绑定到未分配公网IP地址的专有网络VPC类型的实例上,使ECS实例可以通过公网访问,详情请参见绑定EIP。
什么场景下开启部署集?
部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略。建议为使用本地盘机型的Core节点组开启部署集功能来提升数据安全性。开启部署集可防止多个ECS实例部署在同一个物理机上,避免当某个物理机发生故障时影响多个ECS实例,导致EMR本地HDFS数据丢失。
受ECS部署集本身的限制,目前最多支持20台ECS实例加入部署集。具体操作请参见开启部署集。
扩容集群如何指定部署集?
默认本地盘机型会开启部署集,其他机型关闭部署集,您可以根据需要自行调整。开启部署集的具体操作,请参见开启部署集。
扩容集群如何指定磁盘大小?
扩容时新节点的磁盘大小跟随节点组设定,无法修改。如有需要,您可以调整节点组的磁盘大小。磁盘扩容的具体操作,请参见扩容磁盘。
是否支持磁盘的扩缩容?
仅支持数据盘扩容,不支持数据盘缩容,不支持系统盘扩容或缩容。
您可以在目标集群的节点管理页签,单击目标节点组的磁盘扩容,对数据盘进行扩容。具体操作,请参见扩容磁盘。
是否支持集群的扩缩容?
如何更换节点组ECS实例的配置?
仅包年包月集群支持通过升配来更换节点组ECS实例的配置,且暂不支持降配。
您可以在包年包月的目标集群的节点管理页签,选择Master和Core节点组的 ,升级节点组的配置。