当主实例组或核心实例组的CPU或内存不够时,您可以升级节点配置。本文为您介绍如何升级节点的配置。

前提条件

已创建集群,详情请参见创建集群

使用限制

  • 仅E-MapReduce包年包月集群支持升级配置。
    说明 如果当前是HA集群,只单独重启一台Master,另外一台Master会当做Active的节点来保证服务正常运行。
  • 本地盘实例(例如d1和i2实例族)不能升级配置,只能增加节点个数。
  • 非本地盘实例只支持升级配置,不支持降低配置。

操作步骤

  1. 进入配置升级页面。
    1. 登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击上方的集群管理页签。
    4. 集群管理页面,单击相应集群所在行的详情
    5. 集群基础信息页面,选择资源变配 > 配置升级
  2. 修改需要升级的节点配置。
    1. 配置升级页面,根据您的需求修改相应的配置。
    2. 选中E-MapReduce服务条款
    3. 单击确定
      等待一段时间会生成订单。
    4. 支付订单。
    集群基础信息页面的主机信息区域,会显示如下提示。Upgrade configuration
  3. 集群基础信息页面的主机信息区域,单击升级配置已完成,重启机器组生效
    重要 因为重启集群会重启集群的ECS实例,所以重启中的ECS实例上的大数据服务不可用,请务必确保不影响业务的情况下操作。
    确认重启
    参数描述
    滚动重启
    • 勾选(默认值):表示一个ECS实例重启完成且该实例上的大数据服务全部恢复后再启动下一个ECS实例。

      每个节点重启耗时约五分钟。

    • 不勾选:表示同时重启所有ECS实例。
    只重启变配节点
    • 勾选(默认值):表示只重启变配节点,未变配的节点不会被重启。

      变配节点,是指已经完成过扩容磁盘或者升级配置操作的节点。例如,如果只对核心实例组的节点做了升级配置,并未对主实例组升级配置操作,则只会重启核心实例组下的ECS实例,不会重启主实例组下的ECS实例。

    • 不勾选:表示所有节点都将重启,即集群下的所有机器都会被重启。
  4. 单击确定
    重启过程中,在集群基础信息页面的主机信息区域,升级配置的实例组提示机器组重启中Restart待提示信息消失后,升级配置全部完成并生效,可以登录集群查验。
    说明
    • 如果只是升级了CPU而没有升级内存,则升级配置结束。
    • 如果只是升级了内存,或CPU和内存都升级了,建议您执行修改配置,使得YARN可以使用新增的资源。

修改配置

  1. 在左侧导航栏中,选择集群服务 > YARN
  2. 修改CPU配置。
    1. 在YARN服务页面,单击上方的配置页签。
    2. 配置搜索区域,搜索yarn.nodemanager.resource.cpu-vcores参数并根据您的实际需求修改。
      例如,如果为计算密集型场景,建议调整为ECS vCPU的1:1比例;如果为混合型,可以调到1:2的比例内。如果计算节点为32 vCore且为计算密集型场景,则yarn.nodemanager.resource.cpu-vcores调整为32;如果计算节点为32 vCore且为混合型场景,则yarn.nodemanager.resource.cpu-vcores可以调整到32~64之间。
  3. 修改内存配置。
    1. 在YARN服务页面,单击上方的配置页签。
    2. 配置搜索区域,搜索配置项yarn.nodemanager.resource.memory-mb参数,修改配置项的值为机器内存*0.8,单位为MB。
      例如,新的配置下,内存是32 GB,则需将yarn.nodemanager.resource.memory-mb配置为26214
  4. 保存配置。
    1. 在YARN服务页面,单击右上角的保存
    2. 确认修改对话框中,输入执行原因,单击确定
  5. 下发配置。
    1. 在YARN服务页面,选择操作 > 配置All Components
    2. 执行集群操作对话框中,输入执行原因,单击确定
    3. 确认对话框中,单击确定
    您可以单击上方的查看操作历史,待Configure YARN的任务状态为成功之后重启配置。
  6. 重启配置。
    1. 在YARN服务页面,选择操作 > 重启All Components
    2. 执行集群操作对话框中,输入执行原因,单击确定
    3. 确认对话框中,单击确定
    您可以单击上方的单击查看操作历史,待Restart YARN的任务状态为成功,表示重启配置成功。