当E-MapReduce集群的数据存储空间不足时,您可以根据本文进行磁盘(数据盘和系统盘)扩容。本文为您介绍如何对磁盘进行扩容。
背景信息
根据E-MapReduce版本和磁盘属性不同,E-MapReduce支持的磁盘扩容方式也不同,具体说明如下:
- 数据盘:支持在E-MapReduce控制台直接对数据盘进行扩容。不支持缩容。
- 系统盘:支持在ECS控制台对系统盘进行扩容。
数据盘扩容
E-MapReduce控制台仅支持数据盘扩容操作,如果需要对系统盘进行扩容,请参见系统盘扩容。
注意 进行数据盘扩容操作前,请确保当前账号余额充足。数据盘扩容会自动扣款,如果余额不足,则扩容流程会中断。
- 进入集群详情页面。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群基础信息页面的右上方,选择。
- 在弹出的磁盘扩容对话框中,在选择机器组下拉列表选择实例组,修改数据盘容量。
- 完成配置后,单击确定。
磁盘扩容完成后,在
主机信息区域,实例组会显示
扩容磁盘已完成,重启机器组生效。
注意 磁盘扩容成功后,您需要重启集群以使磁盘扩容生效。重启集群会重启集群中的ECS实例,ECS实例重启过程中大数据服务不可用,请确保在不影响业务的情况下进行重启操作。
- 单击扩容磁盘已完成,机器组待重启,设置集群重启的机制。
集群重启机制配置项。
配置项 |
说明 |
滚动重启 |
滚动重启说明如下:
- 选中滚动重启复选框:在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。
- 清除滚动重启复选框:同时重启ECS实例。
|
只重启变配节点 |
变配节点是指已经完成磁盘扩容或者升级配置操作的节点,例如,CORE和MASTER等。只重启变配节点说明如下:
- 选中只重启变配节点复选框:只重启变配节点,未变配的节点不会被重启。例如,如果只对CORE(核心实例组)的节点做了磁盘扩容,则只重启CORE(核心实例组)下的ECS实例。
- 清除只重启变配节点复选框:重启所有节点,即集群下的所有ECS实例均会重启。
|
- 完成上述配置后,单击确认,确认重启集群。
说明 扩容完成后,请登录ECS查看磁盘情况,如果扩容没有生效,请重启对应的ECS实例。
系统盘扩容
注意 系统盘扩容是一个比较复杂的操作,如果非特殊需要,建议不要进行系统盘扩容。对于非HA集群,扩容系统盘期间集群不可用。
- 进入集群详情页面。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群基础信息页面下方的主机信息区域,单击待扩容ECS实例的ECS ID。
跳转至ECS控制台。
- 扩容系统盘。
- 在左侧导航栏中,单击云盘。
- 在云盘页面,系统盘所在行的操作列,选择。
- 在磁盘扩容页面,选择在线扩容,并设置扩容后容量。
- 确认费用,阅读并选中云服务器ECS服务条款后,单击确认扩容。
- 在磁盘扩容须知对话框中,单击已阅读,继续扩容,完成支付。
- 系统盘扩容完成后,您需要对扩容的磁盘进行扩展分区和文件系统操作,详情请参见扩展分区和文件系统_Linux系统盘。
说明
- 在扩展分区和文件系统过程中,如果umount命令运行失败,请先在集群上关闭YARN和HDFS服务。
- 在Disk1操作时,如果出现ilogtail写日志而无法umount的情况,此时您可以通过sudo pgrep ilogtail | sudo xargs kill命令暂时关闭ilogtail。扩展分区和文件系统完成后,重启节点恢复ilogtail服务。
- 完成以上操作后,通过SSH方式登录本ECS实例,并通过df -h命令查看扩容结果。
说明 系统盘扩容完成后,ECS实例存在以下问题:
- ECS实例会对磁盘做一些处理,这可能导致ECS实例的/etc/hosts文件发生变化,您需要在扩容完成后修复/etc/hosts文件。
- SSH免登录配置失效(不影响服务),您可以手动修复。