Spark指标

参数

指标

描述

JVM Max Heap Memory

spark_thrift_driver_jvm_heap_max

JVM最大可用堆内存。单位：Byte。

JVM Committed Heap Memory

spark_thrift_driver_jvm_heap_committed

JVM已预留堆内存。单位：Byte。

JVM Init Heap Memory

spark_thrift_driver_jvm_heap_init

JVM初始化堆内存。单位：Byte。

JVM Used Heap Memory

spark_thrift_driver_jvm_heap_used

JVM已使用堆内存。单位：Byte。

JVM Committed Non-Heap Memory

spark_thrift_driver_jvm_non_heap_committed

JVM已预留堆外内存。单位：Byte。

JVM Init Non-Heap Memory

spark_thrift_driver_jvm_non_heap_init

JVM初始化堆外内存。单位：Byte。

JVM Used Non-Heap Memory

spark_thrift_driver_jvm_non_heap_used

JVM已使用堆外内存。单位：Byte。

JVM PS MarkSweep GC Count

spark_thrift_driver_jvm_PS_MarkSweep_count

JVM PS MarkSweep GC次数。

JVM PS MarkSweep GC Time

spark_thrift_driver_jvm_PS_MarkSweep_time

JVM PS MarkSweep GC时间。单位：毫秒。

JVM PS Scavenge GC Count

spark_thrift_driver_jvm_PS_Scavenge_count

JVM PS Scavenge GC次数。

JVM PS Scavenge GC Time

spark_thrift_driver_jvm_PS_Scavenge_time

JVM PS Scavenge GC时间。单位：毫秒。

All Job Count

spark_thrift_driver_DAGScheduler_job_allJobs

累计作业数。

Active Job Count

spark_thrift_driver_DAGScheduler_job_activeJobs

当前作业数。

Failed Stages

spark_thrift_driver_DAGScheduler_stage_failedStages

失败的Stage数。

Running Stages

spark_thrift_driver_DAGScheduler_stage_runningStages

运行中Stage数。

Waiting Stages

spark_thrift_driver_DAGScheduler_stage_waitingStages

等待中Stage数。

All Executor Number

spark_thrift_driver_ExecutorAllocationManager_executors_numberAllExecutors

Executor总数。

Hive Client Calls

spark_thrift_driver_HiveExternalCatalog_hiveClientCalls

Hive客户端请求数。

LiveListenerBus Events Posted

spark_thrift_driver_LiveListenerBus_numEventsPosted

LiveListenerBus事件数。

DAGScheduler Message Processing Time

spark_thrift_driver_DAGScheduler_messageProcessingTime

DAGScheduler处理消息用时。单位：秒。

参数

指标

描述

JVM Eden Space Utilization

spark_history_jvm_eden_space_utilization

JVM Eden区内存使用率。

JVM Old Space Utilization

spark_history_jvm_old_space_utilization

JVM老年代内存使用率。

JVM Young GC Count

spark_history_jvm_young_gc_count

JVM Young GC数目。

JVM Young GC Time

spark_history_jvm_young_gc_time

JVM Young GC时间。单位：秒。

JVM Full GC Count

spark_history_jvm_full_gc_count

JVM Full GC数目。

JVM Full GC Time

spark_history_jvm_full_gc_time

JVM Full GC时间。单位：秒。

JVM Total GC Time

spark_history_jvm_total_gc_time

JVM GC总时间。单位：秒。