本文为您介绍Flink指标的详细信息。

注意事项

以下几个指标参数需要Flink作业中配置了上下游的source和sink才会有输出:
  • currentEmitEventTimeLag
  • currentFetchEventTimeLag
  • Operator CurrentSendTime
  • sourceIdleTime
  • watermarkLag

Flink指标说明

  • Overview
    参数 指标 描述
    Num Of RunningJobs numRunningJobs JM中正在运行的作业数。
    Job Uptime job_uptime 作业已运行时间,单位:ms。仅支持返回单个系列或表的查询。
    TaskSlots Available taskSlotsAvailable 当前可用的TaskSlots数量。
    TaskSlots Total taskSlotsTotal TaskSlots的总数量。
    Num of TM numRegisteredTaskManagers 已注册的TM数量。
    sourceIdleTime sourceIdleTime 源没有处理任何记录的时间,单位:ms。
    currentFetchEventTimeLag currentFetchEventTimeLag 业务延时(fetch=数据发生时间与数据进入Flink Source时间之间的差值)。
    currentEmitEventTimeLag currentEmitEventTimeLag 业务延时(emit=数据发生时间与数据离开Flink Source时间之间的差值)。
  • Checkpoint
    参数 指标 描述
    Num of Checkpoints totalNumberOfCheckpoints 检查点总数。
    numberOfFailedCheckpoints 失败的检查点数量。
    numberOfCompletedCheckpoints 已完成的检查点数量。
    numberOfInProgressCheckpoints 正在进行的检查点数量。
    lastCheckpointDuration lastCheckpointDuration 最近一个检查点完成时间,单位:ms。
    lastCheckpointSize lastCheckpointSize 最近一个检查点的大小,单位:Byte。
    lastCheckpointRestoreTimestamp lastCheckpointRestoreTimestamp 协调器上最近一个检查点的恢复时间,单位:ms。
  • Network
    参数 指标 描述
    InPool Usage inPoolUsage 输入缓冲区使用量。
    OutPool Usage outPoolUsage 输出缓冲区使用量。
    OutputQueue Length outputQueueLength 输出缓冲区排队数量。
    InputQueue Length inputQueueLength 输入缓冲区排队数量。
  • IO
    参数 指标 描述
    numBytesIn PerSecond numBytesInLocalPerSecond 每秒本地读取数据的字节数。
    numBytesInRemotePerSecond 每秒远端读取数据的字节数。
    numBuffersInLocalPerSecond 每秒本地读取网络缓冲区的数量。
    numBuffersInRemotePerSecond 每秒远端读取网络缓冲区的数量。
    numBytesOut PerSecond numBytesOutPerSecond 每秒发出字节数。
    numBuffersOutPerSecond 每秒发出网络缓冲区的数量。
    Task numRecords I/O PerSecond numRecordsInPerSecond 每秒接收的记录数。
    numRecordsOutPerSecond 每秒发出的记录数。
    Task numRecords I/O numRecordsIn 接收的记录数。
    numRecordsOut 发出的记录数。
    Operator CurrentSendTime currentSendTime 发送最新一条记录的耗时时间,单位:ms。
  • Watermark
    参数 指标 描述
    Task InputWatermark currentInputWatermark 任务收到最后一个水印的时间,单位:ms。
    Operator In/Out Watermark currentInputWatermark 算子收到最后一个水印的时间,单位:ms。
    currentOutputWatermark 算子发出最后一个水印的时间,单位:ms。
    watermarkLag watermarkLag Watermark滞后时间,单位:ms。
  • CPU
    参数 指标 描述
    JM CPU Load CPU_Load JM CPU使用率。
    TM CPU Load CPU_Load TM CPU使用率。
    CPU Usage CPU_Usage TM CPU使用率(基于ProcessTree)。
  • Memory
    参数 指标 描述
    JM Heap Memory Memory_Heap_Used JM Heap Memory已使用量,单位:Byte。
    Memory_Heap_Committed JM Heap Memory已申请量,单位:Byte。
    Memory_Heap_Max JM Heap Memory最大可用量,单位:Byte。
    JM NonHeap Memory Memory_NonHeap_Used JM NonHeap Memory已使用量,单位:Byte。
    Memory_NonHeap_Committed JM NonHeap Memory已申请量,单位:Byte。
    Memory_NonHeap_Max JM NonHeap Memory最大可用量,单位:Byte。
    TM Heap Memory Memory_Heap_Used TM Heap Memory已使用量,单位:Byte。
    Memory_Heap_Committed TM Heap Memory已申请量,单位:Byte。
    Memory_Heap_Max TM Heap Memory最大可用量,单位:Byte。
    TM NonHeap Memory Memory_NonHeap_Used TM NonHeap Memory已使用量,单位:Byte。
    Memory_NonHeap_Committed TM NonHeap Memory已申请量,单位:Byte。
    Memory_NonHeap_Max TM NonHeap Memory最大可用量,单位:Byte。
    Memory RSS Memory_RSS TM当前已使用的堆内存量,单位:Byte。
  • JVM
    参数 指标 描述
    JM Threads Threads_Count JM活跃线程总数。
    TM Threads Threads_Count TM活跃线程总数。
    JM GC Time GarbageCollector_PS_Scavenge_Time JM年轻代垃圾回收器运行时间。
    GarbageCollector_PS_MarkSweep_Time JM老年代“标记-清除”垃圾回收器的运行时间。
    JM GC Count GarbageCollector_PS_Scavenge_Count JM年轻代垃圾回收器运行次数。
    GarbageCollector_PS_MarkSweep_Count JM老年代“标记-清除”垃圾回收器的运行次数。
    TM GC Count GarbageCollector_PS_Scavenge_Count TM年轻代垃圾回收器运行次数。
    GarbageCollector_PS_MarkSweep_Count TM老年代“标记-清除”垃圾回收器的运行次数。
    TM GC Time GarbageCollector_PS_Scavenge_Time TM年轻代垃圾回收器运行时间。
    GarbageCollector_PS_MarkSweep_Time TM老年代“标记-清除”垃圾回收器的运行时间。
    TM ClassLoader ClassLoader_ClassesLoaded TM自JVM启动以来已加载的类总数。
    ClassLoader_ClassesUnloaded TM自JVM启动以来已卸载的类总数。
    JM ClassLoader ClassLoader_ClassesLoaded JM自JVM启动以来已加载的类总数。
    ClassLoader_ClassesUnloaded JM自JVM启动以来已卸载的类总数。