本文为您介绍Flink指标的详细信息。

Flink指标包含以下部分:

Overview

参数指标描述
Num Of RunningJobsflink_jobmanager_numRunningJobsJM中正在运行的作业数。
Job Uptimeflink_jobmanager_job_uptime作业已运行时间。单位:ms。
Num of AvailableTaskSlotflink_jobmanager_taskSlotsAvailable当前可用的taskSlot数目。
TaskSlots Totalflink_jobmanager_taskSlotsTotal总taskSlot数目。
sourceIdleTimeflink_taskmanager_job_task_operator_sourceIdleTime源没有处理任何记录的时间。单位:ms。
Num of TMflink_jobmanager_numRegisteredTaskManagers已注册的TM数目。
currentFetchEventTimeLagflink_taskmanager_job_task_operator_currentFetchEventTimeLag业务延时(fetch=数据发生时间与数据进入Flink Source时间之间的差值)。单位:ms。

Checkpoint

参数指标描述
Num of Checkpointsflink_jobmanager_job_totalNumberOfCheckpoints作业检查点数量总数。
flink_jobmanager_job_numberOfFailedCheckpoints作业失败的检查点数目。
flink_jobmanager_job_numberOfCompletedCheckpoints作业完成的检查点数目。
flink_jobmanager_job_numberOfInProgressCheckpoints作业正在进行的检查点数目。
lastCheckpointDurationflink_jobmanager_job_lastCheckpointDuration最近一个检查点完成时间。单位:ms。
lastCheckpointSizeflink_jobmanager_job_lastCheckpointSize最新一个检查点大小。单位:Byte。
lastCheckpointRestoreTimestampflink_jobmanager_job_lastCheckpointRestoreTimestamp协调器上最近一个检查点的恢复时间。单位:ms。

Network

参数指标描述
InPool Usageflink_taskmanager_job_task_buffers_inPoolUsage输入缓冲区使用量。
OutPool Usageflink_taskmanager_job_task_buffers_outPoolUsage输出缓冲区使用量。
InputQueue Lengthflink_taskmanager_job_task_buffers_inputQueueLength输入缓冲区排队数量。
OutputQueue Lengthflink_taskmanager_job_task_buffers_outputQueueLength输出缓冲区排队数量。

IO

参数指标描述
numBytesIn PerSecondflink_taskmanager_job_task_numBytesInLocalPerSecond每秒本地文件读取字节数。单位:Byte。
flink_taskmanager_job_task_numBytesInRemotePerSecond每秒远端数据读取字节数。单位:Byte。
flink_taskmanager_job_task_numBuffersInLocalPerSecond每秒本地读取网络缓冲区数量。单位:Byte。
flink_taskmanager_job_task_numBuffersInRemotePerSecond每秒远端读取网络缓冲区数量。单位:Byte。
numBytesOut PerSecondflink_taskmanager_job_task_numBytesOutPerSecond每秒发出字节数。单位:Byte。
flink_taskmanager_job_task_numBuffersOutPerSecond每秒发出网络缓冲区数量。单位:Byte。
Task numRecords I/O PerSecondflink_taskmanager_job_task_numRecordsInPerSecond每秒接收记录数。
flink_taskmanager_job_task_numRecordsOutPerSecond每秒发出记录数。
Task numRecords I/Oflink_taskmanager_job_task_numRecordsIn接收记录数。
flink_taskmanager_job_task_numRecordsOut发出记录数。
Operator CurrentSendTimeflink_taskmanager_job_task_operator_currentSendTime发送最新一条记录用时。单位:ms。

Watermark

参数指标描述
Task InputWatermarkflink_taskmanager_job_task_currentInputWatermark任务收到最后一个水印的时间。单位:ms。
Operator In/Out Watermarkflink_taskmanager_job_task_operator_currentInputWatermark算子收到的最后一个水印。单位:ms。
flink_taskmanager_job_task_operator_currentOutputWatermark算子发出的最后一个水印。单位:ms。
watermarkLagflink_taskmanager_job_task_operator_watermarkLagwatermark滞后时间。单位:ms。

CPU

参数指标描述
JM CPU Loadflink_jobmanager_Status_JVM_CPU_LoadJM CPU使用率。
TM CPU Loadflink_taskmanager_Status_JVM_CPU_LoadTM CPU使用率。
CPU Usageflink_taskmanager_Status_ProcessTree_CPU_UsageTM CPU使用率(基于ProcessTree)。

Memory

参数指标描述
JM Heap Memoryflink_jobmanager_Status_JVM_Memory_Heap_UsedJM Heap Memory已使用量。单位:Byte。
flink_jobmanager_Status_JVM_Memory_Heap_CommittedJM Heap Memory已申请量。单位:Byte。
flink_jobmanager_Status_JVM_Memory_Heap_MaxJM Heap Memory最大可用量。单位:Byte。
JM NonHeap Memoryflink_jobmanager_Status_JVM_Memory_NonHeap_UsedJM NonHeap Memory已使用量单位:Byte。
flink_jobmanager_Status_JVM_Memory_NonHeap_CommittedJM NonHeap Memory已申请量。单位:Byte。
flink_jobmanager_Status_JVM_Memory_NonHeap_MaxJM NonHeap Memory最大可用量。单位:Byte。
TM Heap Memoryflink_taskmanager_Status_JVM_Memory_Heap_UsedTM Heap Memory已使用量。单位:Byte。
flink_taskmanager_Status_JVM_Memory_Heap_CommittedTM Heap Memory已申请量。单位:Byte。
flink_taskmanager_Status_JVM_Memory_Heap_MaxTM Heap Memory最大可用量单位:Byte。
TM NonHeap Memoryflink_taskmanager_Status_JVM_Memory_NonHeap_UsedTM NonHeap Memory已使用量。单位:Byte。
flink_taskmanager_Status_JVM_Memory_NonHeap_CommittedTM NonHeap Memory已申请量。单位:Byte。
flink_taskmanager_Status_JVM_Memory_NonHeap_MaxTM NonHeap Memory最大可用量。单位:Byte。
Memory RSSflink_taskmanager_Status_ProcessTree_Memory_RSSTM当前已使用的堆内存量。单位:Byte。

JVM

参数指标描述
JM Threadsflink_jobmanager_Status_JVM_Threads_CountJM活跃线程总数。
flink_taskmanager_Status_JVM_Threads_CountTM活跃线程总数。
JM GC Countflink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_CountJM年轻代并行回收器运行次数。
flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_CountJM老年代标记-清除回收器运行次数。
JM GC Timeflink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_TimeJM年轻代并行回收器运行时间。单位:ms。
flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_TimeJM老年代标记-清除回收器运行时间。单位:ms。
TM GC Countflink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_CountTM年轻代并行回收器运行次数。
flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_CountTM老年代标记-清除回收器运行次数。
TM GC Timeflink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_TimeTM年轻代并行回收器运行时间。单位:ms。
flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_TimeTM老年代标记-清除回收器运行时间。单位:ms。
JM ClassLoaderflink_jobmanager_Status_JVM_ClassLoader_ClassesLoadedJM自JVM启动以来已加载的类总数。
flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloadedJM自JVM启动以来已卸载的类总数。
TM ClassLoaderflink_taskmanager_Status_JVM_ClassLoader_ClassesLoadedTM自JVM启动以来已加载的类总数。
flink_taskmanager_Status_JVM_ClassLoader_ClassesUnloadedTM自JVM启动以来已卸载的类总数。