本文汇总了集群管理时的常见问题。

错误提示:The specified zone is not available for purchase.

您选择创建集群的可用区暂时停止了按量计费ECS的售卖,建议您更换可用区购买。

错误提示:The request processing has failed due to some unknown error, exception or failure.

您可以稍等一会重试,也可以立即提交工单处理。

错误提示:The Node Controller is temporarily unavailable.

请稍等一会再重试创建集群。

错误提示:Zone或者Cluster的库存不够了

待创建E-MapReduce集群可用区的ECS实例库存不足。您可以尝试手动选择其他可用区重新创建集群,或者使用随机模式创建集群。

错误提示:指定的InstanceType未授权使用

ECS的按量付费高配机型(8核以上的所有机型)需要用户申请开通以后才可以使用,请单击提交工单申请。请申请8核16 GiB、8核32 GiB、16核32 GiB和16核64 GiB这四种目前E-MapReduce使用的机型。

创建集群失败提示:The specified instance Type exceeds the maximum limit for the PostPaid instances.

问题分析:
  • 您的按量节点数量已达到上限。
  • 您没有创建这个机型的权限。
解决方法:
  • 申请增加节点数量。
  • 在ECS开通这个机型的使用权限。

如何登录Core节点?

  1. 在Master节点上切换到hadoop账号。
    su hadoop
  2. 免密码登录到对应的Core节点。
    ssh emr-worker-1
  3. 通过sudo获得root权限。
    sudo su - root

为什么集群已续费但还是会收到没有续费的通知?

问题分析:因为E-MapReduce涉及E-MapReduce和ECS两部分费用,大部分的用户都只是续费了ECS而没有续费E-MapReduce。

解决方法:您可以进入集群基础信息页面,在费用管理 > 续费页面,查看ECS和E-MapReduce到期时间。

E-MapReduce是否支持自动续费?

E-MapReduce支持自动续费操作,包括E-MapReduce和ECS的自动续费。

E-MapReduce如何退款?

如果您需要申请退款,请提交工单处理。

集群创建失败需要处理吗?

可以不用处理。对应的计算资源并没有真正地创建出来。创建失败的集群三天后自动隐藏。

集群机器如何分工?

E-MapReduce中包含一个Master节点和多个Slave(或者Worker)节点。其中Master节点不参与数据存储和计算任务,Slave节点用来存储数据和计算任务。例如,3台4核8 GiB机型的集群,其中一台机器用来作为Master节点,另外两台用来作为Slave节点,也就是集群的可用计算资源为2台4核8 GiB机型。

如何处理Kafka集群磁盘异常?

问题分析:常见磁盘异常包括磁盘写满和磁盘损坏。

解决方法:
  • 磁盘写满:
    1. 登录服务器。
    2. 查找到写满的磁盘,然后按照以下原则清理数据。
      • 切勿直接删除Kafka的数据目录,否则所有数据会丢失。
      • 切勿清理Kafka的系统topic,例如consumer_offsets和schema等。
      • 查找到占用空间较多或者明确不需要的topic,选择其中某些Partition,从最早的日志数据开始删除。删除Segment及相应的index和timeindex文件。
    3. 重启Kafka broker服务。
  • 磁盘损坏:
    • 磁盘损坏不超过25%时,无需处理。
    • 磁盘损坏超过25%时,请提交工单处理。

错误提示:The specified DataDisk Size beyond the permitted range, or the capacity of snapshot exceeds the size limit of the specified disk category.

磁盘参数设置太小,建议您调整到40 GB以上重试。

错误提示:Your account does not have enough balance.

账号余额不足。

错误提示:The maximum number of Pay-As-You-Go instances is exceeded: create ecs vcpu quota per region limited by user quota [xxx].

您按量计费的ECS使用量达到上限,需要申请提高ECS使用量上限,或者释放部分按量计费的ECS以便继续创建E-MapReduce集群。

E-Mapreduce主节点是否支持安装其他软件?

不建议安装。因此安装其他软件可能会影响集群的稳定性和可靠性,所以不建议安装。

各个节点上的服务开机会自动启动吗?服务异常中断也会自动重启吗?

会自动启动。服务异常中断会自动恢复。

thrift的Hbase端口号是多少?

9099端口。

E-MapReduce是否支持竞价实例?

E-MapReduce在使用弹性伸缩功能时,支持抢占式实例,详情请参见创建抢占式实例

错误提示FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

问题描述:创建集群时选择了统一meta库,但执行Hive报错。

通常是因为集群没有公网EIP,导致集群未创建成功。您可以提交工单处理。

错误提示:User real name authenticate failed.

用户账号没有完成实名认证。请到阿里云上完成即可。E-MapReduce部分也会有这个实名认证,可以提交工单处理。

之前购买了一套EMR-3.4.3版本,现在需要再购买一套,为什么选不到3.4.3版本?

E-MapReduce的主版本会定期升级,对于部分老版本会做下线处理。您可以查看现有E-MapReduce版本中各个软件的版本(如Hive和Spark)是否满足您的需求。如果您需要已下线的EMR版本,请提交工单处理。

E-MapReduce和MaxCompute的区别是什么?

两者都是大数据处理解决方案。E-MapReduce是完全在开源基础上构建的大数据平台,对开源软件的使用方式和实践方式100%兼容。MaxCompute由阿里巴巴开发,对外不开源,但是封装后使用起来比较方便,而且运维成本也较低。

存储会自动负载均衡还是需要手动均衡?如果需要手动均衡在哪里操作?

需要手动均衡,操作步骤如下:
  1. 登录阿里云E-MapReduce控制台
  2. 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组
  3. 单击上方的集群管理页签。
  4. 集群管理页面,单击相应集群所在行的详情
  5. 单击左侧导航栏的集群服务 > HDFS
  6. 单击右上角的操作 > Rebalance
  7. 执行集群操作对话框中,配置各项参数,单击确定
  8. 确认对话框中,单击确定

如何申请高配机型?

提交工单处理。

磁盘容量不足时,该如何处理?

因为EMR集群不支持磁盘数量的增加,所以您可以在EMR控制台调大单块磁盘的容量,或扩容Core节点。

磁盘容量过剩时,该如何处理?

因为EMR集群不支持磁盘容量缩容,所以您可以重新购买集群,详情请参见创建集群

计算能力不足时,该如何处理?

您可以在EMR控制台上扩容Task节点,详情请参见扩容集群

计算能力过剩时,该如何处理?

根据集群区分如下:
  • 针对按量付费集群,您可以在EMR控制上缩容Task节点。
  • 针对包年包月集群,先在Task节点decomission YARN Nodemanager服务,然后在ECS控制台将对应Task节点的ECS转为按量付费后再释放。

组件版本过低时,该如何处理?

因为EMR集群不支持单组件版本升级,所以您可以重新购买高版本的集群,详情请参见创建集群

如何转化非HA集群为HA集群?

EMR集群暂不支持非HA集群转为HA集群,建议您重新购买HA集群。

如何在EMR上部署第三方软件或服务?

建议您在集群创建时通过引导操作安装第三方软件或服务。如果集群创建后手工安装第三方软件或服务,在扩容时,新扩容节点需重新手工安装第三方软件或服务。