当节点组内ECS实例的规格(vCPU和内存)无法满足您的业务需求时,您可以使用配置升级功能提升ECS实例规格。本文为您介绍如何升级节点的配置。

前提条件

已创建集群,详情请参见创建集群

使用限制

  • 仅E-MapReduce包年包月集群支持升级配置。
  • 大数据型和本地SSD型ECS实例不支持升级配置。
  • 节点组内的ECS实例仅支持升级配置,不支持降低配置。

操作步骤

  1. 进入节点管理页面。
    1. 登录EMR on ECS控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击目标集群操作列的节点管理
  2. 节点管理页面,选择目标节点组操作列的more > 配置升级
  3. 修改需要升级的节点配置。
    1. 配置升级对话框中,根据您的需求修改相应的配置。
      参数说明
      实例类型选择目标实例类型。仅支持选择更高的实例规格。
      说明 支持升级的实例规格以控制台实际展示为准。
      滚动重启
      • 不开启(默认):表示同时重启当前节点组内所有ECS实例。
      • 开启:表示当前节点组内一个ECS实例重启完成且该实例上的大数据服务全部恢复后再启动下一个ECS实例。
    2. 单击确定
      生成订单需要等待一定时间。
    3. 支付订单。
      支付完成后,控制台会显示为新实例规格,但实际并未生效,升配流程结束后才会生效。
      重要 订单支付后开始配置升级流程,流程中会自动重启当前节点组内节点,请谨慎操作,避免影响线上业务。
  4. 可选:修改YARN服务配置。
    如果您的集群安装了YARN服务,则请按以下步骤手动修改YARN的配置,使YARN能够应用新增的集群资源。
    1. 在EMR控制台的集群服务页签,单击YARN区域的配置
    2. 集群默认配置下拉框中,选择节点组配置
      节点组配置
    3. 请选择节点组下拉框中,选择升级了节点配置的节点组。
      节点组
    4. 修改CPU配置。
      在搜索区域,搜索参数yarn.nodemanager.resource.cpu-vcores,并根据您的实际需求修改。

      如果是计算密集型场景,则建议调整该参数值与vCPU的比例为1:1;如果为混合型,则可以调整到1:2的比例内。

      例如,如果计算节点为32 vCore且为计算密集型场景,则调整yarn.nodemanager.resource.cpu-vcores的参数值为32;如果计算节点为32 vCore且为混合型场景,则可以调整yarn.nodemanager.resource.cpu-vcores的参数值在32~64之间。

    5. 修改内存配置。
      在搜索区域,搜索参数yarn.nodemanager.resource.memory-mb,修改参数值为节点内存*0.8,单位为MB。

      例如,如果内存是32 GB,则需配置yarn.nodemanager.resource.memory-mb为26214。

    6. 保存配置。
      1. 单击下方的保存
      2. 在弹出的对话框中,输入执行原因,单击保存
    7. 下发配置。
      1. 选择更多操作 > 配置
      2. 在弹出的对话框中,输入执行原因,单击确定
      3. 在弹出的对话框中,单击确定

        您可以单击上方的操作历史,待该任务状态显示为已完成之后重启配置。

    8. 重启配置。
      1. 选择更多操作 > 重启
      2. 在弹出的对话框中,输入执行原因,单击确定
      3. 在弹出的对话框中,单击确定

        您可以单击上方的操作历史,待该任务状态显示为已完成时,表示重启配置成功。

      重要 建议业务低峰期时重启ResourceManager,组件重启过程中可能会有作业失败的情况发生。