集群监控中的Flink指标有哪些_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

备案控制台

输入文档关键字查找

本文为您介绍Flink指标的详细信息。

Flink指标包含以下部分：

Overview
Checkpoint
Network
IO
Watermark
CPU
Memory
JVM

Overview


参数	指标	描述
Num Of RunningJobs	flink_jobmanager_numRunningJobs	JM中正在运行的作业数。
Job Uptime	flink_jobmanager_job_uptime	作业已运行时间。单位：ms。
Num of AvailableTaskSlot	flink_jobmanager_taskSlotsAvailable	当前可用的taskSlot数目。
TaskSlots Total	flink_jobmanager_taskSlotsTotal	总taskSlot数目。
sourceIdleTime	flink_taskmanager_job_task_operator_sourceIdleTime	源没有处理任何记录的时间。单位：ms。
Num of TM	flink_jobmanager_numRegisteredTaskManagers	已注册的TM数目。
currentFetchEventTimeLag	flink_taskmanager_job_task_operator_currentFetchEventTimeLag	业务延时（fetch=数据发生时间与数据进入Flink Source时间之间的差值）。单位：ms。

Checkpoint


参数	指标	描述
Num of Checkpoints	flink_jobmanager_job_totalNumberOfCheckpoints	作业检查点数量总数。
	flink_jobmanager_job_numberOfFailedCheckpoints	作业失败的检查点数目。
	flink_jobmanager_job_numberOfCompletedCheckpoints	作业完成的检查点数目。
	flink_jobmanager_job_numberOfInProgressCheckpoints	作业正在进行的检查点数目。
lastCheckpointDuration	flink_jobmanager_job_lastCheckpointDuration	最近一个检查点完成时间。单位：ms。
lastCheckpointSize	flink_jobmanager_job_lastCheckpointSize	最新一个检查点大小。单位：Byte。
lastCheckpointRestoreTimestamp	flink_jobmanager_job_lastCheckpointRestoreTimestamp	协调器上最近一个检查点的恢复时间。单位：ms。

Network


参数	指标	描述
InPool Usage	flink_taskmanager_job_task_buffers_inPoolUsage	输入缓冲区使用量。
OutPool Usage	flink_taskmanager_job_task_buffers_outPoolUsage	输出缓冲区使用量。
InputQueue Length	flink_taskmanager_job_task_buffers_inputQueueLength	输入缓冲区排队数量。
OutputQueue Length	flink_taskmanager_job_task_buffers_outputQueueLength	输出缓冲区排队数量。

IO


参数	指标	描述
numBytesIn PerSecond	flink_taskmanager_job_task_numBytesInLocalPerSecond	每秒本地文件读取字节数。单位：Byte。
	flink_taskmanager_job_task_numBytesInRemotePerSecond	每秒远端数据读取字节数。单位：Byte。
	flink_taskmanager_job_task_numBuffersInLocalPerSecond	每秒本地读取网络缓冲区数量。单位：Byte。
	flink_taskmanager_job_task_numBuffersInRemotePerSecond	每秒远端读取网络缓冲区数量。单位：Byte。
numBytesOut PerSecond	flink_taskmanager_job_task_numBytesOutPerSecond	每秒发出字节数。单位：Byte。
numBytesOut PerSecond	flink_taskmanager_job_task_numBuffersOutPerSecond	每秒发出网络缓冲区数量。单位：Byte。
Task numRecords I/O PerSecond	flink_taskmanager_job_task_numRecordsInPerSecond	每秒接收记录数。
Task numRecords I/O PerSecond	flink_taskmanager_job_task_numRecordsOutPerSecond	每秒发出记录数。
Task numRecords I/O	flink_taskmanager_job_task_numRecordsIn	接收记录数。
Task numRecords I/O	flink_taskmanager_job_task_numRecordsOut	发出记录数。
Operator CurrentSendTime	flink_taskmanager_job_task_operator_currentSendTime	发送最新一条记录用时。单位：ms。

Watermark


参数	指标	描述
Task InputWatermark	flink_taskmanager_job_task_currentInputWatermark	任务收到最后一个水印的时间。单位：ms。
Operator In/Out Watermark	flink_taskmanager_job_task_operator_currentInputWatermark	算子收到的最后一个水印。单位：ms。
Operator In/Out Watermark	flink_taskmanager_job_task_operator_currentOutputWatermark	算子发出的最后一个水印。单位：ms。
watermarkLag	flink_taskmanager_job_task_operator_watermarkLag	watermark滞后时间。单位：ms。

CPU


参数	指标	描述
JM CPU Load	flink_jobmanager_Status_JVM_CPU_Load	JM CPU使用率。
TM CPU Load	flink_taskmanager_Status_JVM_CPU_Load	TM CPU使用率。
CPU Usage	flink_taskmanager_Status_ProcessTree_CPU_Usage	TM CPU使用率（基于ProcessTree）。

Memory


参数	指标	描述
JM Heap Memory	flink_jobmanager_Status_JVM_Memory_Heap_Used	JM Heap Memory已使用量。单位：Byte。
	flink_jobmanager_Status_JVM_Memory_Heap_Committed	JM Heap Memory已申请量。单位：Byte。
	flink_jobmanager_Status_JVM_Memory_Heap_Max	JM Heap Memory最大可用量。单位：Byte。
JM NonHeap Memory	flink_jobmanager_Status_JVM_Memory_NonHeap_Used	JM NonHeap Memory已使用量单位：Byte。
	flink_jobmanager_Status_JVM_Memory_NonHeap_Committed	JM NonHeap Memory已申请量。单位：Byte。
	flink_jobmanager_Status_JVM_Memory_NonHeap_Max	JM NonHeap Memory最大可用量。单位：Byte。
TM Heap Memory	flink_taskmanager_Status_JVM_Memory_Heap_Used	TM Heap Memory已使用量。单位：Byte。
	flink_taskmanager_Status_JVM_Memory_Heap_Committed	TM Heap Memory已申请量。单位：Byte。
	flink_taskmanager_Status_JVM_Memory_Heap_Max	TM Heap Memory最大可用量单位：Byte。
TM NonHeap Memory	flink_taskmanager_Status_JVM_Memory_NonHeap_Used	TM NonHeap Memory已使用量。单位：Byte。
	flink_taskmanager_Status_JVM_Memory_NonHeap_Committed	TM NonHeap Memory已申请量。单位：Byte。
	flink_taskmanager_Status_JVM_Memory_NonHeap_Max	TM NonHeap Memory最大可用量。单位：Byte。
Memory RSS	flink_taskmanager_Status_ProcessTree_Memory_RSS	TM当前已使用的堆内存量。单位：Byte。

JVM


参数	指标	描述
JM Threads	flink_jobmanager_Status_JVM_Threads_Count	JM活跃线程总数。
JM Threads	flink_taskmanager_Status_JVM_Threads_Count	TM活跃线程总数。
JM GC Count	flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Count	JM年轻代并行回收器运行次数。
JM GC Count	flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Count	JM老年代标记-清除回收器运行次数。
JM GC Time	flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time	JM年轻代并行回收器运行时间。单位：ms。
JM GC Time	flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Time	JM老年代标记-清除回收器运行时间。单位：ms。
TM GC Count	flink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_Count	TM年轻代并行回收器运行次数。
TM GC Count	flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Count	TM老年代标记-清除回收器运行次数。
TM GC Time	flink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time	TM年轻代并行回收器运行时间。单位：ms。
TM GC Time	flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Time	TM老年代标记-清除回收器运行时间。单位：ms。
JM ClassLoader	flink_jobmanager_Status_JVM_ClassLoader_ClassesLoaded	JM自JVM启动以来已加载的类总数。
JM ClassLoader	flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded	JM自JVM启动以来已卸载的类总数。
TM ClassLoader	flink_taskmanager_Status_JVM_ClassLoader_ClassesLoaded	TM自JVM启动以来已加载的类总数。
TM ClassLoader	flink_taskmanager_Status_JVM_ClassLoader_ClassesUnloaded	TM自JVM启动以来已卸载的类总数。

上一篇：IMPALA指标下一篇：ClickHouse指标

文档内容是否对您有帮助？