本文汇总了集群管理的常见问题。

EMR集群是否支持升级版本?

EMR集群不支持升级,也不能进行服务的升级。如果有升级需求,请释放集群并重新创建集群。

EMR集群都支持哪些服务?

不同版本、不同集群支持的服务有所不同,详情请参见版本概述

EMR支持Hue服务吗?如果不支持是否有替代方案?

EMR DataLake集群(EMR-5.8.0和EMR-3.42.0及以上版本)不再包含HUE组件。如果您想在DataLake集群使用Hue,请参见在DataLake集群自建Hue组件

高可用集群为什么部署3个Master节点?

新版EMR高可用集群采用3 Master节点,比2 Master更具可靠性。现在已不支持2 Master节点。

对于高可用集群,EMR会把Master节点分布在不同的底层硬件上以降低故障风险。

EMR支持哪些地域?

当前EMR支持的地域有:华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、澳大利亚(悉尼)、马来西亚(吉隆坡)、印度尼西亚(雅加达)、印度(孟买)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、阿联酋(迪拜)。

如何开启磁盘加密?开启后有什么影响?

您可以在创建集群页面基础配置阶段的高级配置区域,选择是否开启数据盘加密,详情请参见开启数据盘加密
重要 仅支持在创建集群时开启数据盘加密,集群创建后无法开启该功能。

加密数据盘后,数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求,则可以使用该功能。数据盘加密后在ECS的OS层面对应用是透明的,因此不会影响作业运行。

如何清理创建失败的集群?

集群创建失败,通常是由于RDS配置错误导致集群部署失败,或者是由于部分ECS没有库存导致的。

如果在创建过程中,集群已经创建出来部分ECS实例,且集群状态为启动失败,这时需要您前往ECS控制台释放该部分ECS实例,在您的ECS实例全部被释放后,EMR集群将会自动释放。

如果在创建过程中,EMR部署失败,且集群状态为异常终止,此时集群不存在任何资源,也不存在任何收费,您可以单击目标集群操作列的删除,清除该集群。

创建集群后,还支持新增服务吗?

EMR支持在集群创建成功后新增部分未安装的服务,详情请参见新增服务

重要 新增服务后,因为部分服务需要手动修改配置并进行重启,所以请在业务低峰期进行新增服务操作。

修改服务配置后,是否需要重启服务?

EMR集群的Spark、Hive、HDFS等服务端类型配置修改后,需要重启服务才能生效。EMR集群的客户端类型配置修改后,只需要单击部署客户端配置就能生效,不用重启服务。修改或添加配置项的具体操作请参见管理配置项

如何查询EMR集群有哪些节点?

您可以通过ListNodes接口查询EMR集群节点列表,详情请参见ListNodes - 查询节点

EMR的滚动重启是什么意思?

滚动重启机制是指在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。

集群创建后如何绑定公网IP?

您可以单独申请EIP地址,并绑定到未分配公网IP地址的专有网络VPC类型的实例上,使ECS实例可以通过公网访问,详情请参见绑定EIP

什么场景下开启部署集?

部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略。建议为使用本地盘机型的Core节点组开启部署集功能来提升数据安全性。开启部署集可防止多个ECS实例部署在同一个物理机上,避免当某个物理机发生故障时影响多个ECS实例,导致EMR本地HDFS数据丢失。

受ECS部署集本身的限制,目前最多支持20台ECS实例加入部署集。具体操作请参见开启部署集

扩容集群如何指定部署集?

默认本地盘机型会开启部署集,其他机型关闭部署集,您可以根据需要自行调整。开启部署集的具体操作,请参见开启部署集

扩容集群如何指定磁盘大小?

扩容时新节点的磁盘大小跟随节点组设定,无法修改。如有需要,您可以调整节点组的磁盘大小。磁盘扩容的具体操作,请参见扩容磁盘

是否支持磁盘的扩缩容?

仅支持数据盘扩容,不支持数据盘缩容,不支持系统盘扩容或缩容。

您可以在目标集群的节点管理页签,单击目标节点组的磁盘扩容,对数据盘进行扩容。具体操作,请参见扩容磁盘

是否支持集群的扩缩容?

支持,但需注意以下信息:
  • 扩容:仅支持扩展Core节点和Task节点,且新扩展节点的配置默认与已有节点一致。您在扩容时,需确认对应订单已经全部支付,如果存在待支付订单,将造成扩容失败。扩容具体操作,请参见扩容集群
  • 缩容:目前仅支持对按量付费类型的EMR集群的Task节点缩容,EMR版本要求5.x高于5.6.0,3.x高于3.2.0,且集群状态为运行中。缩容具体操作,请参见缩容集群

如何更换节点组ECS实例的配置?

仅包年包月集群支持通过升配来更换节点组ECS实例的配置,且暂不支持降配。

您可以在包年包月的目标集群的节点管理页签,选择Master和Core节点组的more > 配置升级,升级节点组的配置。