文档

查看Spark监控

更新时间:

若您想查看云原生数据仓库 AnalyticDB MySQL 版集群Spark作业的运行指标,可以参照本文档的操作步骤,在云监控页面中查看对应监控项信息,以便您及时掌握集群的性能和运行状况,排查并解决问题。

前提条件

集群的产品系列为企业版、基础版或湖仓版

注意事项

仅支持查看过去一个月内的监控信息,单次查看最长的时间段为31天。

操作步骤

  1. 登录云监控控制台

  2. 在左侧导航栏,选择云资源监控 > 云产品监控

  3. 云产品监控页面,选择云原生数据仓库AnalyticDB MySQL版3.0 - 湖仓版

  4. 选择目标集群所在地域。

  5. 单击目标集群操作列的监控图表

  6. Spark指标页签下,查看对应监控信息。

监控项说明

监控项

单位

说明

Spark CPU 利用率(%)

%

Spark CPU利用率。

Spark 内存 利用率(%)

%

Spark内存使用率。

Execution 堆内内存使用量峰值(B)

Byte

Spark作业运行时,占用JVM堆内存的最大值。

Execution 堆外内存使用量峰值(B)

Byte

Spark作业运行时,除JVM堆内存外,额外使用内存的最大值。

Storage 堆内内存使用量峰值(B)

Byte

Spark存储数据(例如缓存的RDD)时,在JVM堆内存中占用的最大空间。

Storage 堆外内存使用量峰值(B)

Byte

Spark存储数据(例如缓存的RDD)时,在JVM堆外内存中占用的最大空间。

RDD Storage 磁盘使用量(B)

Byte

Spark中RDD(弹性分布式数据集)占用的磁盘空间。

Major GC 次数(count)

数值

Spark作业运行时,JVM垃圾收集机制执行的老年代垃圾收集(Major GC)的次数。

Minor GC 次数统计(count)

数值

Spark作业运行时,JVM垃圾收集机制执行的年轻代垃圾收集(Minor GC)的次数。

Spark GC 耗时(s)

s

Spark的GC耗时。

Spark Shuffle 读数据量(B)

Byte

Spark Shuffle的读数据量。

Spark Shuffle 写数据量(B)

Byte

Spark Shuffle的写数据量。

Spark 读取数据数量(B)

Byte

Spark的读数据量。

相关文档

Spark应用性能诊断