本文介绍YARN指标的详细信息。

YARN指标包含以下部分：

YARN-HOME

参数指标描述
NumOpenConnectionsyarn_resourcemanager_rpc_NumOpenConnections打开连接数。
AppsSubmittedyarn_cluster_appsSubmitted集群已经提交的任务数。
AppsCompletedyarn_cluster_appsCompleted集群已经完成的任务数。
AppsPendingyarn_cluster_appsPending集群正在阻塞的任务数。
AppsFailedyarn_cluster_appsFailed集群失败的任务数。
AppsKilledyarn_cluster_appsKilled集群被终止掉的任务数。
MemoryReservedMByarn_cluster_reservedMB集群被预留调度的内存大小。单位：MB。
MemoryAvailableMByarn_cluster_availableMB集群可用内存大小。单位：MB。
MemoryAllocatedMByarn_cluster_allocatedMB集群已分配的内存大小。单位：MB。
MemoryTotalMByarn_cluster_totalMB集群总内存大小。单位：MB。
ReserveVCoreyarn_cluster_reservedVirtualCores集群被预留调度的虚拟核数。
AvailableVCoreyarn_cluster_availableVirtualCores集群可用虚拟核数。
AllocatedVCoreyarn_cluster_allocatedVirtualCores集群已分配虚拟核数。
TotalVCoreyarn_cluster_totalVirtualCores集群总虚拟核数。
ContainerAllocatedyarn_cluster_containersAllocated集群已经分配的Container个数。
ContainerReservedyarn_cluster_containersReserved集群预留调度的Container个数。
ContainerPendingyarn_cluster_containersPending集群阻塞调度的Container个数。
TotalNodeyarn_cluster_totalNodes集群总节点数。
ActiveNodeyarn_cluster_activeNodes集群存活的节点数。
LostNodeyarn_cluster_lostNodes集群死掉的节点数。
UnhealthyNodeyarn_cluster_unhealthyNodes集群不健康的节点数。
DecommissioningNodeyarn_cluster_decommissioningNodes集群正在退役的节点数。
DecommissionNodeyarn_cluster_decommissionedNodes集群已经退役的节点数。
RebootedNodesyarn_cluster_rebootedNodes集群重启的节点数。
ShutdownNodesyarn_cluster_shutdownNodes集群关闭的节点数。

YARN-Queues

参数指标描述
AppsSubmittedyarn_resourcemanager_queue_AppsSubmittedResourceManager调度器特定队列提交的任务数。
AppsRunningyarn_resourcemanager_queue_AppsRunningResourceManager调度器特定队列正在运行的任务数。
AppsPendingyarn_resourcemanager_queue_AppsPendingResourceManager调度器特定队列阻塞的任务数。
AppsCompletedyarn_resourcemanager_queue_AppsCompletedResourceManager调度器特定队列完成的任务数。
AppsKilledyarn_resourcemanager_queue_AppsKilledResourceManager调度器特定队列被杀死的任务数。
AppsFailedyarn_resourcemanager_queue_AppsFailedResourceManager调度器特定队列失败的任务数。
AllocatedMByarn_resourcemanager_queue_AllocatedMBResourceManager调度器特定队列分配的内存大小。单位：MB。
AllocatedVCoresyarn_resourcemanager_queue_AllocatedVCoresResourceManager调度器特定队列分配的虚拟核数。
AllocatedContainersyarn_resourcemanager_queue_AllocatedContainersResourceManager调度器特定队列分配的container数。
AggregateContainersAllocatedyarn_resourcemanager_queue_AggregateContainersAllocatedResourceManager调度器特定队列累积的container分配数。
AggregateContainersReleasedyarn_resourcemanager_queue_AggregateContainersReleasedResourceManager调度器特定队列累积的container释放数。
AvailableMByarn_resourcemanager_queue_AvailableMBResourceManager调度器特定队可用内存。单位：MB。
AvailableVCoresyarn_resourcemanager_queue_AvailableVCoresResourceManager调度器特定队列可用核数。
PendingMByarn_resourcemanager_queue_PendingMBResourceManager调度器特定队列阻塞调度内存。单位：MB。
PendingVCoresyarn_resourcemanager_queue_PendingVCoresResourceManager调度器特定队列阻塞调度核数。
PendingContainersyarn_resourcemanager_queue_PendingContainersResourceManager调度器特定队列阻塞调度container个数。
ReservedMByarn_resourcemanager_queue_ReservedMBResourceManager调度器特定队列预留内存。单位：MB。
ReservedVCoresyarn_resourcemanager_queue_ReservedVCoresResourceManager调度器特定队列预留核数。
ReservedContainersyarn_resourcemanager_queue_ReservedContainersResourceManager调度器特定队列预留container数。
Capacity UsedCapacityyarn_resourcemanager_queue_usedCapacityResourceManager Capacity调度器特定队列在父队列中使用的capacity。单位：%。
Capacity AbsoluteUsedCapacityyarn_resourcemanager_queue_absoluteUsedCapacityResourceManager Capacity调度器特定队列在总集群中使用的capacity。单位：%。
Capacity NumApplicationsyarn_resourcemanager_queue_numApplicationsResourceManager Capacity调度器特定队列在调度器中的application个数。
Capacity NumActiveApplicationsyarn_resourcemanager_queue_numActiveApplicationsResourceManager Capacity调度器特定队列运行的application个数。
Capacity NumPendingApplicationsyarn_resourcemanager_queue_numPendingApplicationsResourceManager Capacity调度器特定队列阻塞调度的application个数。
Capacity NumContainersyarn_resourcemanager_queue_numContainersResourceManager Capacity调度器特定队列container个数。
Capacity VCoresUsedyarn_resourcemanager_queue_vCoresUsedResourceManager Capacity调度器特定队列使用的虚拟核数。
Capacity MemoryUsedyarn_resourcemanager_queue_memoryUsedResourceManager Capacity调度器特定队列使用的内存。单位：MB。
Capacity AMVCoresUsedyarn_resourcemanager_queue_amResourceUsed_vCoresResourceManager Capacity调度器特定队列application master使用的虚拟核数。
Capacity AMMemoryUsedyarn_resourcemanager_queue_amResourceUsed_memoryResourceManager Capacity调度器特定队列application master使用的内存。单位：MB。
Fair AMMemoryUsedyarn_resourcemanager_queue_amUsedResources_memoryResourceManager Fair调度器特定队列application master使用的内存大小，3.X版本依赖。单位：MB。
Fair AMVCoresUsedyarn_resourcemanager_queue_amUsedResources_vCoresResourceManager Fair调度器特定队列applicatio master使用的虚拟核数，3.X版本依赖。
Fair MemoryReservedyarn_resourcemanager_queue_reservedResources_memoryResourceManager Fair调度器特定队列预留的内存大小，3.X版本依赖。单位：MB。
Fair VCoresReservedyarn_resourcemanager_queue_reservedResources_vCoresResourceManager Fair调度器特定队列预留的虚拟核数，3.X版本依赖。
Fair MemoryUsedyarn_resourcemanager_queue_usedResources_memoryResourceManager Fair调度器特定队列使用的内存大小。单位：MB。
Fair VCoresUsedyarn_resourcemanager_queue_usedResources_vCoresResourceManager Fair调度器特定队列使用的虚拟核数。
Fair NumPendingAppsyarn_resourcemanager_queue_numPendingAppsResourceManager Fair调度器特定队列阻塞调度的application个数。
Fair NumActiveAppsyarn_resourcemanager_queue_numActiveAppsResourceManager Fair调度器特定队列正在运行的application个数。

YARN-Resourcemanagers

参数指标描述
Average Processing timeyarn_resourcemanager_rpc_RpcProcessingTimeAvgTimeResouceManager Rpc队列平均处理时间。单位：ms。
CallQueueLengthyarn_resourcemanager_rpc_CallQueueLengthResouceManager Rpc队列积压长度。
MemNonHeapUsedMyarn_resourcemanager_jvm_MemNonHeapUsedMResouceManager JVM非堆内存使用。单位：MB。
MemNonHeapCommittedMyarn_resourcemanager_jvm_MemNonHeapCommittedMResouceManager JVM非堆commit的内存。单位：MB。
MemNonHeapMaxMyarn_resourcemanager_jvm_MemNonHeapMaxMResouceManager JVM非堆最大可用内存。单位：MB。
MemHeapUsedMyarn_resourcemanager_jvm_MemHeapUsedMResouceManager JVM堆内存使用。单位：MB。
MemHeapCommittedMyarn_resourcemanager_jvm_MemHeapCommittedMResouceManager JVM堆内存commit的内存。单位：MB。
MemHeapMaxMyarn_resourcemanager_jvm_MemHeapMaxMResouceManager JVM堆内存最大可用内存。单位：MB。
MemMaxMyarn_resourcemanager_jvm_MemMaxMResouceManager JVM最大内存。单位：MB。
GcCountyarn_resourcemanager_jvm_GcCountResouceManager JVM gc次数。
Total GcTimeyarn_resourcemanager_jvm_GcTimeMillisResouceManager JVM gc时间。单位：ms。

YARN-NodeManagers

参数参数描述
ContainersLaunched countyarn_nodemanager_ContainersLaunchedNodeManager Container启动个数。
ContainersCompleted countyarn_nodemanager_ContainersCompletedNodeManager Container完成个数。
ContainersFailedyarn_nodemanager_ContainersFailedNodeManager Container失败个数。
ContainersKilledyarn_nodemanager_ContainersKilledNodeManager Container被杀掉个数。
ContainersInitingyarn_nodemanager_ContainersInitingNodeManager Container初始化中个数。
ContainersRunningyarn_nodemanager_ContainersRunningNodeManager Container正在运行个数。
BadLocalDirsyarn_nodemanager_BadLocalDirsNodeManager磁盘损坏个数。
GoodLocalDirsDiskUtilizationPercyarn_nodemanager_GoodLocalDirsDiskUtilizationPercNodeManager磁盘利用率。单位：%。
MemNonHeapUsedMyarn_nodemanager_jvm_MemNonHeapUsedMNodeManager JVM非堆内存使用。单位：MB。
MemNonHeapCommittedMyarn_nodemanager_jvm_MemNonHeapCommittedMNodeManager JVM非堆commit的内存。单位：MB。
MemNonHeapMaxMyarn_nodemanager_jvm_MemNonHeapMaxMNodeManager JVM非堆最大可用内存。单位：MB。
MemHeapUsedMyarn_nodemanager_jvm_MemHeapUsedMNodeManager JVM堆内存使用。单位：MB。
MemHeapCommittedMyarn_nodemanager_jvm_MemHeapCommittedMNodeManager JVM堆内存commit的内存。单位：MB。
MemHeapMaxMyarn_nodemanager_jvm_MemHeapMaxMNodeManager JVM堆内存最大可用内存。单位：MB。
MemMaxMyarn_nodemanager_jvm_MemMaxMNodeManager JVM最大内存。单位：MB。
GcCountyarn_nodemanager_jvm_GcCountNodeManager JVM gc次数。
Total GcTimeyarn_nodemanager_jvm_GcTimeMillisNodeManager JVM gc时间。单位：ms。
ShuffleOutputBytesyarn_nodemanager_shuffle_ShuffleOutputBytesNodeManager Shuffle输出的字节数。单位：Byte。
ShuffleOutputsFailedyarn_nodemanager_shuffle_ShuffleOutputsFailedNodeManager Shuffle输出失败个数。
ShuffleOutputsOKyarn_nodemanager_shuffle_ShuffleOutputsOKNodeManager Shuffle输出成功个数。
ShuffleConnectionsyarn_nodemanager_shuffle_ShuffleConnectionsNodeManager Shuffle连接数。
LastHealthUpdateyarn_nodemanager_lastHealthUpdateNodeManager最近一次健康状态时间。
AllocatedContainersyarn_nodemanager_AllocatedContainersNodeManager运行的container个数。
AllocatedGByarn_nodemanager_AllocatedGBNodeManager使用的内存大小。单位：GB。
AvailableGByarn_nodemanager_AvailableGBNodeManager可用的内存大小。单位：GB。
AllocatedVCoresyarn_nodemanager_AllocatedVCoresNodeManager使用的虚拟核数。
AvailableVCoresyarn_nodemanager_AvailableVCoresNodeManager可用的虚拟核数。

YARN-JobHistory

参数指标描述
MemNonHeapUsedMyarn_jobhistory_jvm_MemNonHeapUsedMJobhistory JVM非堆内存使用。单位：MB。
MemNonHeapCommittedMyarn_jobhistory_jvm_MemNonHeapCommittedMJobhistory JVM非堆commit的内存。单位：MB。
MemNonHeapMaxMyarn_jobhistory_jvm_MemNonHeapMaxMJobhistory JVM非堆最大可用内存。单位：MB。
MemHeapUsedMyarn_jobhistory_jvm_MemHeapUsedMJobhistory JVM堆内存使用。单位：MB。
MemHeapCommittedMyarn_jobhistory_jvm_MemHeapCommittedMJobhistory JVM堆内存commit的内存。单位：MB。
MemHeapMaxMyarn_jobhistory_jvm_MemHeapMaxMJobhistory JVM堆内存最大可用内存。单位：MB。
MemMaxMyarn_jobhistory_jvm_MemMaxMJobhistory JVM最大内存。单位：MB。
GcCountyarn_jobhistory_jvm_GcCountJobhistory JVM gc次数。
Total GcTimeyarn_jobhistory_jvm_GcTimeMillisJobhistory JVM gc时间。单位：ms。

YARN-TimelineServer

参数指标描述
MemNonHeapUsedMyarn_timelineserver_jvm_MemNonHeapUsedMTimeline Server JVM非堆内存使用。单位：MB。
MemNonHeapCommittedMyarn_timelineserver_jvm_MemNonHeapCommittedMTimeline Server JVM非堆commit的内存。单位：MB。
MemNonHeapMaxMyarn_timelineserver_jvm_MemNonHeapMaxMTimeline Server JVM非堆最大可用内存。单位：MB。
MemHeapUsedMyarn_timelineserver_jvm_MemHeapUsedMTimeline Server JVM堆内存使用。单位：MB。
MemHeapCommittedMyarn_timelineserver_jvm_MemHeapCommittedMTimeline Server JVM堆内存commit的内存。单位：MB。
MemHeapMaxMyarn_timelineserver_jvm_MemHeapMaxMTimeline Server JVM堆内存最大可用内存。单位：MB。
MemMaxMyarn_timelineserver_jvm_MemMaxMTimeline Server JVM最大内存。单位：MB。
GcCountyarn_timelineserver_jvm_GcCountTimeline Server JVM gc次数。
Total GcTimeyarn_timelineserver_jvm_GcTimeMillisTimeline Server JVM gc时间。单位：ms。
GetEntitiesOpsyarn_timeline_GetEntitiesOpsTimeline Server获取批量entities操作数。
GetEntitiesTimeAvgTimeyarn_timeline_GetEntitiesTimeAvgTimeTimeline Server获取批量entities平均时间。单位：ms。
GetEntityOpsyarn_timeline_GetEntityOpsTimeline Server获取entity操作数。
GetEntityTimeAvgTimeyarn_timeline_GetEntityTimeAvgTimeTimeline Server获取entity平均时间。单位：ms。
GetEventsOpsyarn_timeline_GetEventsOpsTimeline Server获取批量events操作数。
GetEventsTimeAvgTimeyarn_timeline_GetEventsTimeAvgTimeTimeline Server获取批量evnets平均时间。单位：ms。
PostEntitiesOpsyarn_timeline_PostEntitiesOpsTimeline Server更新批量entities操作数。
PostEntitiesTimeAvgTimeyarn_timeline_PostEntitiesTimeAvgTimeTimeline Server更新批量entities的平均时间。单位：ms。
PutDomainOpsyarn_timeline_PutDomainOpsTimeline Server更新Domain操作数。
PutDomainTimeAvgTimeyarn_timeline_PutDomainTimeAvgTimeTimeline Server更新Domain平均时间。单位：ms。
GetDomainOpsyarn_timeline_GetDomainOpsTimeline Server获取Domain操作数。
GetDomainTimeAvgTimeyarn_timeline_GetDomainTimeAvgTimeTimeline Server获取Domain平均时间。单位：ms。
GetDomainsOpsyarn_timeline_GetDomainsOpsTimeline Server批量获取Domains操作数。
GetDomainsTimeAvgTimeyarn_timeline_GetDomainsTimeAvgTimeTimeline Server批量获取Domains平均时间。单位：ms。