在实际使用中,我们可能会发现我们集群中的节点,尤其是 master 节点的 CPU 或者内存不够了。

说明
  • 只有 EMR 包年包月集群才支持升级配置。
  • 本地盘实例(如 d1,i2 实例族)不能升级配置,只能增加节点个数。
  • 非本地盘实例只支持升级配置,不支持降低配置。

节点配置升级引导

  1. 集群管理页上,找到对应的集群条目,单击详情,进入集群详情页面。
  2. 单击右上角的资源变配,在下拉框中选择配置升级
  3. 修改需要升级的节点配置。
  4. 单击确认,等待一段时间生成订单。
  5. 支付订单。
  6. 返回到集群管理页面,刷新页面确认节点信息已经变为要升配的目标规格,例如,CPU:4 核 内存:16 G。在机器组信息展示版块会显示如下提示:

  7. 单击升级配置已完成,重启机器组生效。如下图所示:

  8. 单击确认
    注意
    • 重启集群会重启集群的 ECS 实例,所以重启中的 ECS 实例上的大数据服务不可用,请务必确保不影响业务的情况下操作。
    • 滚动重启
      • 勾选表示一个 ECS 实例重启完成且该实例上的大数据服务全部恢复后再启动下一个 ECS 实例。每个节点重启耗时约 5 分钟。
      • 不勾选表示同时重启所有 ECS 实例。
    • 只重启变配节点
      • 变配节点,指已经完成过扩容磁盘或者升级配置操作的节点(如:CORE,MASTER 等)。
      • 勾选表示只重启变配节点,未变配的节点不会被重启。例如:只是对 CORE 组的节点做了升级配置,但未对 MASTER 升级配置操作,那么只会重启 CORE 组下的 ECS 实例,不会重启 MASTER 组下的ECS实例。
      • 不勾选表示所有节点都将重启。即:集群下的所有机器都会被重启。
  9. 重启过程中,在对应的机器组(例如:CORE)提示机器组重启中,如下图所示:

  10. 待步骤 9 的提示消失后,升级配置全部完成并生效。可以登录集群查验。
  11. 如果只是升级了 CPU 而没有升级内存则忽略本步骤,升级配置结束;如果升级了 内存 ,需要修改集群服务配置,使得 YARN 可以使用新增的资源;如果 CPU 和内存都升级了,需要修改以上两个配置。配置步骤如下:
    1. 集群与服务管理页面,单击YARN
    2. 修改 CPU 配置

      进入服务页面,单击配置,找到配置项 yarn.nodemanager.resource.cpu-vcores,如果为计算密集型,建议调整为 ECS vCPU 的 1:1 比例,如果为混合型,可以调到 1:2 的比例内。例如计算节点为 32 vCore,且为计算密集型,需求大量正则匹配,则 yarn.nodemanager.resource.cpu-vcores=32,如果计算节点为 32 vCore,计算为混合型,则 yarn.nodemanager.resource.cpu-vcores 可以调整到 32-64 之间。

    3. 修改内存配置

      进入服务页面,单击配置,找到配置项 yarn.nodemanager.resource.memory-mb。把个配置项的值修改为机器内存 * 0.8,单位为 MB。例如,当前新的配置下,内存是 32G,那么这里就配置为:yarn.nodemanager.resource.memory-mb=26214

    4. 单击页面右上角的保存,保存配置项。
    5. 单击页面右上角的操作,在下拉框中选择 CONFIGURE All Components
    6. 单击查看操作历史,待上一步 CONFIGURE YARN 的任务状态为成功之后继续操作。
    7. 单击页面右上角的操作,在下拉框中选择 RESTART All Components
    8. 单击查看操作历史,待上一步的 Restart YARN 的任务状态为成功之后,新增的资源即可被 YARN 使用。