当E-MapReduce集群的数据存储空间不足时,您可根据本节描述进行磁盘扩容。当前数据盘和系统盘均支持扩容。

磁盘扩容概述

根据E-MapReduce版本和磁盘属性(系统盘或数据盘)不同,E-MapReduce支持的磁盘扩容方式也不同,具体说明如下:

  • 数据盘
    • EMR-3.11.0及以上版本:支持在E-MapReduce控制台直接对数据盘进行扩容。当前E-MapReduce控制台仅支持数据盘扩容,不支持缩容。
    • EMR-3.11.0以下版本:支持在ECS控制台对数据盘进行扩容。
  • 系统盘
    • 所有版本:支持在ECS控制台对系统盘进行扩容。

数据盘扩容(EMR-3.11.0及以上版本)

当前E-MapReduce控制台仅支持数据盘扩容操作,如果需要对系统盘进行扩容,请参见系统盘扩容

注意 进行数据盘扩容操作前,请确保当前账号余额充足。数据盘扩容会自动扣款,如果余额不足,则扩容流程会中断。
  1. 登录阿里云 E-MapReduce 控制台,进入集群列表页面。
  2. 概览集群管理页面中,单击集群的集群ID
  3. 集群基础信息页面的右上方,选择资源变配 > 磁盘扩容
  4. 在弹出的磁盘扩容对话框中设置各参数。

    关键参数配置说明如下:

    配置项 说明
    实例组 支持磁盘扩容的实例组类型:
    • MASTER(主实例组)
    • CORE(核心实例组)
    选择机器组 选择机器组列表中选择待扩容的实例组即可。
    付费类型 自动加载当前E-MapReduce集群的付费类型。
    配置 当前实例组数据盘的大小。
    扩容至 扩容后实例组数据盘的大小。
  5. 完成上述参数配置后,单击确定
    磁盘扩容完成后,在集群基础信息页面下方,实例组会显示扩容磁盘已完成,重启机器组生效

    注意 磁盘扩容成功后,您需要重启集群以使磁盘扩容生效。重启集群会重启集群中的ECS实例,ECS实例重启过程中大数据服务不可用,请确保在不影响业务的情况下进行重启操作。
  6. 单击扩容磁盘已完成,机器组待重启,设置集群重启的机制。

    集群重启机制配置项说明如下:

    配置项 说明
    滚动重启 滚动重启说明如下:
    • 选中滚动重启复选框:在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。
    • 清除滚动重启复选框:同时重启ECS实例。
    只重启变配节点 变配节点是指已经完成磁盘扩容或者升级配置操作的节点,例如,CORE和MASTER等。 只重启变配节点说明如下:
    • 选中只重启变配节点复选框:只重启变配节点,未变配的节点不会被重启。例如,如果只对CORE(核心实例组)的节点做了磁盘扩容,则只重启CORE(核心实例组)下的ECS实例。
    • 清除只重启变配节点复选框:重启所有节点,即集群下的所有ECS实例均会重启。
  7. 完成上述配置后,单击确认,确认重启集群。
    集群重启过程中,对应的实例组会提示机器组重启中。机器组重启成功后,机器组重启中提示消失,此时您可登录集群进行查验。

数据盘扩容(EMR-3.11.0以下版本)

注意 在进行磁盘扩容时,请将集群中所有的节点的磁盘进行统一的扩容,以保证集群内部节点的磁盘容量一致。
  1. 登录阿里云 E-MapReduce 控制台,进入集群列表页面。
  2. 概览集群管理页面中,单击集群的集群ID
  3. 集群基础信息页面下方的主机信息区域选择待扩容的实例组,然后在右侧查看并复制相应ECS实例的ECS ID

    ECS ID类似于i-bp1bsithym5hh9h93xxx

  4. 单击某个ECS实例的ECS ID即可跳转并直接登录至ECS控制台。

    跳转并直接登录ECS控制台后,显示的即是您选择的ECS实例信息。

  5. 在左侧导航栏中,选择本实例磁盘,在右侧即对本ECS实例的数据盘进行扩容,详情请参见在线扩容云盘离线扩容云盘
    说明 在线扩容云盘存在多种限制,如果您的集群不能完全满足这些条件,请使用离线扩容云盘方式。当前磁盘扩容不支持批量操作,您需要逐个对数据盘进行扩容操作。
  6. 数据盘扩容完成后,您需要对扩容的磁盘进行扩展分区和文件系统操作,详情请参见 扩展分区和文件系统_Linux数据盘
    说明
    • 在扩展分区和文件系统过程中,如果umount命令运行失败,请先在集群上关闭YARNHDFS服务。
    • 在Disk1操作时,如果出现ilogtail写日志而无法umount的情况,此时您可通过 sudo pgrep ilogtail | sudo xargs kill命令暂时关闭ilogtail。扩展分区和文件系统完成后,重启节点恢复ilogtail服务。
  7. 完成以上操作后,SSH登录本ECS实例并通过df -h命令查看扩容结果。
  8. 参考以上操作对其他ECS实例的数据盘进行扩容。

系统盘扩容

注意 系统盘扩容是一个比较复杂的操作,如非特殊需要,建议不要进行系统盘扩容。对于非HA集群,扩容系统盘期间集群不可用。
  1. 登录阿里云 E-MapReduce 控制台,进入集群列表页面。
  2. 概览集群管理页面中,单击集群的集群ID
  3. 集群基础信息页面下方的主机信息区域选择待扩容的实例组,然后在右侧查看并复制相应ECS实例的ECS ID

    ECS ID类似于i-bp1bsithym5hh9h93xxx

  4. 单击某个ECS实例的ECS ID即可跳转并直接登录至ECS控制台。

    跳转并直接登录ECS控制台后,显示的即是您选择的ECS实例信息。

  5. 在左侧导航栏中,选择本实例磁盘,在右侧即对本ECS实例的系统盘进行扩容(系统盘只有一块),详情请参见在线扩容云盘离线扩容云盘
    说明 线扩容云盘存在多种限制,如果您的集群不能完全满足这些条件,请使用离线扩容云盘方式。
  6. 系统盘扩容完成后,您需要对扩容的磁盘进行扩展分区和文件系统操作,详情请参见 扩展分区和文件系统_Linux系统盘
    说明
    • 在扩展分区和文件系统过程中,如果umount命令运行失败,请先在集群上关闭YARNHDFS服务。
    • 在Disk1操作时,如果出现ilogtail写日志而无法umount的情况,此时您可通过 sudo pgrep ilogtail | sudo xargs kill命令暂时关闭ilogtail。扩展分区和文件系统完成后,重启节点恢复ilogtail服务。
  7. 完成以上操作后,SSH登录本ECS实例并通过df -h命令查看扩容结果。
    说明 系统盘扩容完成后,ECS实例存在以下问题:
    • ECS实例会做一些磁盘的处理,这可能导致ECS实例的/etc/hosts文件发生变化,您需要在扩容完成后进行修复。
    • SSH免登录配置失效(不影响服务),您可手动修复。
  8. 参考以上操作对其他ECS实例的系统盘进行扩容。