本文为您介绍Flink指标的详细信息。
注意事项
以下几个指标参数需要Flink作业中配置了上下游的source和sink才会有输出:
- currentEmitEventTimeLag
- currentFetchEventTimeLag
- Operator CurrentSendTime
- sourceIdleTime
- watermarkLag
Flink指标说明
- Overview
参数 指标 描述 Num Of RunningJobs numRunningJobs JM中正在运行的作业数。 Job Uptime job_uptime 作业已运行时间,单位:ms。仅支持返回单个系列或表的查询。 TaskSlots Available taskSlotsAvailable 当前可用的TaskSlots数量。 TaskSlots Total taskSlotsTotal TaskSlots的总数量。 Num of TM numRegisteredTaskManagers 已注册的TM数量。 sourceIdleTime sourceIdleTime 源没有处理任何记录的时间,单位:ms。 currentFetchEventTimeLag currentFetchEventTimeLag 业务延时(fetch=数据发生时间与数据进入Flink Source时间之间的差值)。 currentEmitEventTimeLag currentEmitEventTimeLag 业务延时(emit=数据发生时间与数据离开Flink Source时间之间的差值)。 - Checkpoint
参数 指标 描述 Num of Checkpoints totalNumberOfCheckpoints 检查点总数。 numberOfFailedCheckpoints 失败的检查点数量。 numberOfCompletedCheckpoints 已完成的检查点数量。 numberOfInProgressCheckpoints 正在进行的检查点数量。 lastCheckpointDuration lastCheckpointDuration 最近一个检查点完成时间,单位:ms。 lastCheckpointSize lastCheckpointSize 最近一个检查点的大小,单位:Byte。 lastCheckpointRestoreTimestamp lastCheckpointRestoreTimestamp 协调器上最近一个检查点的恢复时间,单位:ms。 - Network
参数 指标 描述 InPool Usage inPoolUsage 输入缓冲区使用量。 OutPool Usage outPoolUsage 输出缓冲区使用量。 OutputQueue Length outputQueueLength 输出缓冲区排队数量。 InputQueue Length inputQueueLength 输入缓冲区排队数量。 - IO
参数 指标 描述 numBytesIn PerSecond numBytesInLocalPerSecond 每秒本地读取数据的字节数。 numBytesInRemotePerSecond 每秒远端读取数据的字节数。 numBuffersInLocalPerSecond 每秒本地读取网络缓冲区的数量。 numBuffersInRemotePerSecond 每秒远端读取网络缓冲区的数量。 numBytesOut PerSecond numBytesOutPerSecond 每秒发出字节数。 numBuffersOutPerSecond 每秒发出网络缓冲区的数量。 Task numRecords I/O PerSecond numRecordsInPerSecond 每秒接收的记录数。 numRecordsOutPerSecond 每秒发出的记录数。 Task numRecords I/O numRecordsIn 接收的记录数。 numRecordsOut 发出的记录数。 Operator CurrentSendTime currentSendTime 发送最新一条记录的耗时时间,单位:ms。 - Watermark
参数 指标 描述 Task InputWatermark currentInputWatermark 任务收到最后一个水印的时间,单位:ms。 Operator In/Out Watermark currentInputWatermark 算子收到最后一个水印的时间,单位:ms。 currentOutputWatermark 算子发出最后一个水印的时间,单位:ms。 watermarkLag watermarkLag Watermark滞后时间,单位:ms。 - CPU
参数 指标 描述 JM CPU Load CPU_Load JM CPU使用率。 TM CPU Load CPU_Load TM CPU使用率。 CPU Usage CPU_Usage TM CPU使用率(基于ProcessTree)。 - Memory
参数 指标 描述 JM Heap Memory Memory_Heap_Used JM Heap Memory已使用量,单位:Byte。 Memory_Heap_Committed JM Heap Memory已申请量,单位:Byte。 Memory_Heap_Max JM Heap Memory最大可用量,单位:Byte。 JM NonHeap Memory Memory_NonHeap_Used JM NonHeap Memory已使用量,单位:Byte。 Memory_NonHeap_Committed JM NonHeap Memory已申请量,单位:Byte。 Memory_NonHeap_Max JM NonHeap Memory最大可用量,单位:Byte。 TM Heap Memory Memory_Heap_Used TM Heap Memory已使用量,单位:Byte。 Memory_Heap_Committed TM Heap Memory已申请量,单位:Byte。 Memory_Heap_Max TM Heap Memory最大可用量,单位:Byte。 TM NonHeap Memory Memory_NonHeap_Used TM NonHeap Memory已使用量,单位:Byte。 Memory_NonHeap_Committed TM NonHeap Memory已申请量,单位:Byte。 Memory_NonHeap_Max TM NonHeap Memory最大可用量,单位:Byte。 Memory RSS Memory_RSS TM当前已使用的堆内存量,单位:Byte。 - JVM
参数 指标 描述 JM Threads Threads_Count JM活跃线程总数。 TM Threads Threads_Count TM活跃线程总数。 JM GC Time GarbageCollector_PS_Scavenge_Time JM年轻代垃圾回收器运行时间。 GarbageCollector_PS_MarkSweep_Time JM老年代“标记-清除”垃圾回收器的运行时间。 JM GC Count GarbageCollector_PS_Scavenge_Count JM年轻代垃圾回收器运行次数。 GarbageCollector_PS_MarkSweep_Count JM老年代“标记-清除”垃圾回收器的运行次数。 TM GC Count GarbageCollector_PS_Scavenge_Count TM年轻代垃圾回收器运行次数。 GarbageCollector_PS_MarkSweep_Count TM老年代“标记-清除”垃圾回收器的运行次数。 TM GC Time GarbageCollector_PS_Scavenge_Time TM年轻代垃圾回收器运行时间。 GarbageCollector_PS_MarkSweep_Time TM老年代“标记-清除”垃圾回收器的运行时间。 TM ClassLoader ClassLoader_ClassesLoaded TM自JVM启动以来已加载的类总数。 ClassLoader_ClassesUnloaded TM自JVM启动以来已卸载的类总数。 JM ClassLoader ClassLoader_ClassesLoaded JM自JVM启动以来已加载的类总数。 ClassLoader_ClassesUnloaded JM自JVM启动以来已卸载的类总数。