当E-MapReduce集群的数据存储空间不足时,您可根据本节描述进行磁盘扩容。当前数据盘和系统盘均支持扩容。
磁盘扩容概述
根据E-MapReduce版本和磁盘属性(系统盘或数据盘)不同,E-MapReduce支持的磁盘扩容方式也不同,具体说明如下:
- 数据盘
- EMR-3.11.0及以上版本:支持在E-MapReduce控制台直接对数据盘进行扩容。当前E-MapReduce控制台仅支持数据盘扩容,不支持缩容。
- EMR-3.11.0以下版本:支持在ECS控制台对数据盘进行扩容。
- 系统盘
所有版本:支持在ECS控制台对系统盘进行扩容。
数据盘扩容(EMR-3.11.0及以上版本)
当前E-MapReduce控制台仅支持数据盘扩容操作,如果需要对系统盘进行扩容,请参见系统盘扩容。
注意 进行数据盘扩容操作前,请确保当前账号余额充足。数据盘扩容会自动扣款,如果余额不足,则扩容流程会中断。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,选择地域(Region)。
- 单击上方的集群管理。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群基础信息页面的右上方,选择。
- 在弹出的磁盘扩容对话框中设置各参数。
关键参数配置说明如下:
配置项 |
说明 |
实例组 |
支持磁盘扩容的实例组类型:
|
选择机器组 |
从选择机器组列表中选择待扩容的实例组即可。
|
付费类型 |
自动加载当前E-MapReduce集群的付费类型。 |
配置 |
当前实例组数据盘的大小。 |
扩容至 |
扩容后实例组数据盘的大小。 |
- 完成上述参数配置后,单击确定。
磁盘扩容完成后,在主机信息区域,实例组会显示扩容磁盘已完成,重启机器组生效。
注意 磁盘扩容成功后,您需要重启集群以使磁盘扩容生效。重启集群会重启集群中的ECS实例,ECS实例重启过程中大数据服务不可用,请确保在不影响业务的情况下进行重启操作。
- 单击扩容磁盘已完成,机器组待重启,设置集群重启的机制。
集群重启机制配置项说明如下:
配置项 |
说明 |
滚动重启 |
滚动重启说明如下:
- 选中滚动重启复选框:在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。
- 清除滚动重启复选框:同时重启ECS实例。
|
只重启变配节点 |
变配节点是指已经完成磁盘扩容或者升级配置操作的节点,例如,CORE和MASTER等。 只重启变配节点说明如下:
- 选中只重启变配节点复选框:只重启变配节点,未变配的节点不会被重启。例如,如果只对CORE(核心实例组)的节点做了磁盘扩容,则只重启CORE(核心实例组)下的ECS实例。
- 清除只重启变配节点复选框:重启所有节点,即集群下的所有ECS实例均会重启。
|
- 完成上述配置后,单击确认,确认重启集群。
集群重启过程中,对应的实例组会提示机器组重启中。机器组重启成功后,机器组重启中提示消失,此时您可登录集群进行查验。
数据盘扩容(EMR-3.11.0以下版本)
注意 在进行磁盘扩容时,请将集群中所有的节点的磁盘进行统一的扩容,以保证集群内部节点的磁盘容量一致。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,选择地域(Region)。
- 单击上方的集群管理。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群基础信息页面下方的主机信息区域选择待扩容的实例组。
- 单击某个ECS实例的ECS ID即可跳转并直接登录至ECS控制台。
ECS ID类似于i-bp1bsithym5hh9h9xxxx。
- 在左侧导航栏中,选择本实例磁盘,在右侧即对本ECS实例的数据盘进行扩容,详情请参见在线扩容云盘或离线扩容云盘。
说明 在线扩容云盘存在多种限制,如果您的集群不能完全满足这些条件,请使用离线扩容云盘方式。当前磁盘扩容不支持批量操作,您需要逐个对数据盘进行扩容操作。
- 数据盘扩容完成后,您需要对扩容的磁盘进行扩展分区和文件系统操作,详情请参见扩展分区和文件系统_Linux数据盘。
说明
- 在扩展分区和文件系统过程中,如果umount命令运行失败,请先在集群上关闭YARN和HDFS服务。
- 在Disk1操作时,如果出现ilogtail写日志而无法umount的情况,此时您可通过 sudo pgrep ilogtail | sudo xargs kill命令暂时关闭ilogtail。扩展分区和文件系统完成后,重启节点恢复ilogtail服务。
- 完成以上操作后,SSH登录本ECS实例并通过df -h命令查看扩容结果。
参考以上操作可对其他ECS实例的数据盘进行扩容。
系统盘扩容
注意 系统盘扩容是一个比较复杂的操作,如非特殊需要,建议不要进行系统盘扩容。对于非HA集群,扩容系统盘期间集群不可用。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,选择地域(Region)。
- 单击上方的集群管理。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群基础信息页面下方的主机信息区域选择待扩容的实例组。
- 单击某个ECS实例的ECS ID即可跳转并直接登录至ECS控制台。
ECS ID类似于i-bp1bsithym5hh9h9xxxx。
- 在左侧导航栏中,选择本实例磁盘,在右侧即对本ECS实例的系统盘进行扩容(系统盘只有一块),详情请参见在线扩容云盘或离线扩容云盘。
说明 线扩容云盘存在多种限制,如果您的集群不能完全满足这些条件,请使用离线扩容云盘方式。
- 系统盘扩容完成后,您需要对扩容的磁盘进行扩展分区和文件系统操作,详情请参见扩展分区和文件系统_Linux系统盘。
说明
- 在扩展分区和文件系统过程中,如果umount命令运行失败,请先在集群上关闭YARN和HDFS服务。
- 在Disk1操作时,如果出现ilogtail写日志而无法umount的情况,此时您可通过 sudo pgrep ilogtail | sudo xargs kill命令暂时关闭ilogtail。扩展分区和文件系统完成后,重启节点恢复ilogtail服务。
- 完成以上操作后,SSH登录本ECS实例并通过df -h命令查看扩容结果。
说明
- 系统盘扩容完成后,ECS实例存在以下问题:
- ECS实例会做一些磁盘的处理,这可能导致ECS实例的/etc/hosts文件发生变化,您需要在扩容完成后进行修复。
- SSH免登录配置失效(不影响服务),您可手动修复。
- 参考以上操作可对其他ECS实例的系统盘进行扩容。
在文档使用中是否遇到以下问题
更多建议
匿名提交