为了便于查看集群资源使用情况及弹性伸缩的效果,EMR提供了基于YARN的指标大盘,您也可以基于历史YARN集群指标,来配置和优化自定义弹性伸缩规则。本文为您介绍如何在EMR控制台查看EMR集群资源。YARN指标的详细定义,请参见YARN指标。
前提条件
已创建数据湖(DataLake)或自定义场景(Custom)类型的集群,且选择了YARN服务。创建集群详情,请参见创建集群。
操作步骤
方式一:查看YARN资源利用率环比
进入弹性伸缩页面。
登录EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
单击目标集群的集群名称。
单击上方的弹性伸缩。
在弹性伸缩配置页面,您可以查看YARN资源利用率环比。
您可以查看当前集群近30天内的资源利用率变化曲线,并且可以对比几天前的资源利用率曲线,以查看集群的资源是否浪费。系统会检测当前集群的资源使用状态,自动推荐配置弹性伸缩规则。您可以参考推荐规则为集群节点组配置弹性伸缩,具体操作请参见创建自定义弹性伸缩策略、创建托管弹性伸缩策略。
方式二:查看YARN详细指标数据
进入指标监控页面。
登录EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
单击目标集群的集群名称。
单击上方的监控诊断。
单击指标监控页签。
在Dashboard下拉框中,选择YARN-HOME,大盘展示了集群YARN的指标数据,可以调整时长查看过去集群的使用情况。
大盘中的Yarn Scaling是YARN弹性指标,可以帮助您深入了解集群中运行的容器和节点资源使用情况,进一步了解集群的弹性伸缩的效果,从而更有效地评估集群弹性伸缩的效果。
该文章对您有帮助吗?
- 本页导读 (1)
- 前提条件
- 操作步骤
- 方式一:查看YARN资源利用率环比
- 方式二:查看YARN详细指标数据