本文为您介绍Flink指标的详细信息。
Overview
| 参数 | 指标 | 描述 |
|---|---|---|
| Num Of RunningJobs | flink_jobmanager_numRunningJobs | JM中正在运行的作业数。 |
| Job Uptime | flink_jobmanager_job_uptime | 作业已运行时间。单位:ms。 |
| Num of AvailableTaskSlot | flink_jobmanager_taskSlotsAvailable | 当前可用的taskSlot数目。 |
| TaskSlots Total | flink_jobmanager_taskSlotsTotal | 总taskSlot数目。 |
| sourceIdleTime | flink_taskmanager_job_task_operator_sourceIdleTime | 源没有处理任何记录的时间。单位:ms。 |
| Num of TM | flink_jobmanager_numRegisteredTaskManagers | 已注册的TM数目。 |
| currentFetchEventTimeLag | flink_taskmanager_job_task_operator_currentFetchEventTimeLag | 业务延时(fetch=数据发生时间与数据进入Flink Source时间之间的差值)。单位:ms。 |
Checkpoint
| 参数 | 指标 | 描述 |
|---|---|---|
| Num of Checkpoints | flink_jobmanager_job_totalNumberOfCheckpoints | 作业检查点数量总数。 |
| flink_jobmanager_job_numberOfFailedCheckpoints | 作业失败的检查点数目。 | |
| flink_jobmanager_job_numberOfCompletedCheckpoints | 作业完成的检查点数目。 | |
| flink_jobmanager_job_numberOfInProgressCheckpoints | 作业正在进行的检查点数目。 | |
| lastCheckpointDuration | flink_jobmanager_job_lastCheckpointDuration | 最近一个检查点完成时间。单位:ms。 |
| lastCheckpointSize | flink_jobmanager_job_lastCheckpointSize | 最新一个检查点大小。单位:Byte。 |
| lastCheckpointRestoreTimestamp | flink_jobmanager_job_lastCheckpointRestoreTimestamp | 协调器上最近一个检查点的恢复时间。单位:ms。 |
Network
| 参数 | 指标 | 描述 |
|---|---|---|
| InPool Usage | flink_taskmanager_job_task_buffers_inPoolUsage | 输入缓冲区使用量。 |
| OutPool Usage | flink_taskmanager_job_task_buffers_outPoolUsage | 输出缓冲区使用量。 |
| InputQueue Length | flink_taskmanager_job_task_buffers_inputQueueLength | 输入缓冲区排队数量。 |
| OutputQueue Length | flink_taskmanager_job_task_buffers_outputQueueLength | 输出缓冲区排队数量。 |
IO
| 参数 | 指标 | 描述 |
|---|---|---|
| numBytesIn PerSecond | flink_taskmanager_job_task_numBytesInLocalPerSecond | 每秒本地文件读取字节数。单位:Byte。 |
| flink_taskmanager_job_task_numBytesInRemotePerSecond | 每秒远端数据读取字节数。单位:Byte。 | |
| flink_taskmanager_job_task_numBuffersInLocalPerSecond | 每秒本地读取网络缓冲区数量。单位:Byte。 | |
| flink_taskmanager_job_task_numBuffersInRemotePerSecond | 每秒远端读取网络缓冲区数量。单位:Byte。 | |
| numBytesOut PerSecond | flink_taskmanager_job_task_numBytesOutPerSecond | 每秒发出字节数。单位:Byte。 |
| flink_taskmanager_job_task_numBuffersOutPerSecond | 每秒发出网络缓冲区数量。单位:Byte。 | |
| Task numRecords I/O PerSecond | flink_taskmanager_job_task_numRecordsInPerSecond | 每秒接收记录数。 |
| flink_taskmanager_job_task_numRecordsOutPerSecond | 每秒发出记录数。 | |
| Task numRecords I/O | flink_taskmanager_job_task_numRecordsIn | 接收记录数。 |
| flink_taskmanager_job_task_numRecordsOut | 发出记录数。 | |
| Operator CurrentSendTime | flink_taskmanager_job_task_operator_currentSendTime | 发送最新一条记录用时。单位:ms。 |
Watermark
| 参数 | 指标 | 描述 |
|---|---|---|
| Task InputWatermark | flink_taskmanager_job_task_currentInputWatermark | 任务收到最后一个水印的时间。单位:ms。 |
| Operator In/Out Watermark | flink_taskmanager_job_task_operator_currentInputWatermark | 算子收到的最后一个水印。单位:ms。 |
| flink_taskmanager_job_task_operator_currentOutputWatermark | 算子发出的最后一个水印。单位:ms。 | |
| watermarkLag | flink_taskmanager_job_task_operator_watermarkLag | watermark滞后时间。单位:ms。 |
CPU
| 参数 | 指标 | 描述 |
|---|---|---|
| JM CPU Load | flink_jobmanager_Status_JVM_CPU_Load | JM CPU使用率。 |
| TM CPU Load | flink_taskmanager_Status_JVM_CPU_Load | TM CPU使用率。 |
| CPU Usage | flink_taskmanager_Status_ProcessTree_CPU_Usage | TM CPU使用率(基于ProcessTree)。 |
Memory
| 参数 | 指标 | 描述 |
|---|---|---|
| JM Heap Memory | flink_jobmanager_Status_JVM_Memory_Heap_Used | JM Heap Memory已使用量。单位:Byte。 |
| flink_jobmanager_Status_JVM_Memory_Heap_Committed | JM Heap Memory已申请量。单位:Byte。 | |
| flink_jobmanager_Status_JVM_Memory_Heap_Max | JM Heap Memory最大可用量。单位:Byte。 | |
| JM NonHeap Memory | flink_jobmanager_Status_JVM_Memory_NonHeap_Used | JM NonHeap Memory已使用量单位:Byte。 |
| flink_jobmanager_Status_JVM_Memory_NonHeap_Committed | JM NonHeap Memory已申请量。单位:Byte。 | |
| flink_jobmanager_Status_JVM_Memory_NonHeap_Max | JM NonHeap Memory最大可用量。单位:Byte。 | |
| TM Heap Memory | flink_taskmanager_Status_JVM_Memory_Heap_Used | TM Heap Memory已使用量。单位:Byte。 |
| flink_taskmanager_Status_JVM_Memory_Heap_Committed | TM Heap Memory已申请量。单位:Byte。 | |
| flink_taskmanager_Status_JVM_Memory_Heap_Max | TM Heap Memory最大可用量单位:Byte。 | |
| TM NonHeap Memory | flink_taskmanager_Status_JVM_Memory_NonHeap_Used | TM NonHeap Memory已使用量。单位:Byte。 |
| flink_taskmanager_Status_JVM_Memory_NonHeap_Committed | TM NonHeap Memory已申请量。单位:Byte。 | |
| flink_taskmanager_Status_JVM_Memory_NonHeap_Max | TM NonHeap Memory最大可用量。单位:Byte。 | |
| Memory RSS | flink_taskmanager_Status_ProcessTree_Memory_RSS | TM当前已使用的堆内存量。单位:Byte。 |
JVM
| 参数 | 指标 | 描述 |
|---|---|---|
| JM Threads | flink_jobmanager_Status_JVM_Threads_Count | JM活跃线程总数。 |
| flink_taskmanager_Status_JVM_Threads_Count | TM活跃线程总数。 | |
| JM GC Count | flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Count | JM年轻代并行回收器运行次数。 |
| flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Count | JM老年代标记-清除回收器运行次数。 | |
| JM GC Time | flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time | JM年轻代并行回收器运行时间。单位:ms。 |
| flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Time | JM老年代标记-清除回收器运行时间。单位:ms。 | |
| TM GC Count | flink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_Count | TM年轻代并行回收器运行次数。 |
| flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Count | TM老年代标记-清除回收器运行次数。 | |
| TM GC Time | flink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time | TM年轻代并行回收器运行时间。单位:ms。 |
| flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Time | TM老年代标记-清除回收器运行时间。单位:ms。 | |
| JM ClassLoader | flink_jobmanager_Status_JVM_ClassLoader_ClassesLoaded | JM自JVM启动以来已加载的类总数。 |
| flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded | JM自JVM启动以来已卸载的类总数。 | |
| TM ClassLoader | flink_taskmanager_Status_JVM_ClassLoader_ClassesLoaded | TM自JVM启动以来已加载的类总数。 |
| flink_taskmanager_Status_JVM_ClassLoader_ClassesUnloaded | TM自JVM启动以来已卸载的类总数。 |