文档

HDFS指标

更新时间:

本文为您介绍HDFS指标的详细信息。

HDFS-HOME

参数

指标

描述

BlocksTotal

hdfs_namenode_fsnamesystem_BlocksTotal

NameNode总的块数。

CapacityRemainingGB

hdfs_namenode_fsnamesystem_CapacityRemainingGB

NameNode剩余的空间大小,单位GB。

CapacityTotalGB

hdfs_namenode_fsnamesystem_CapacityTotalGB

NameNode配置的总的空间大小,单位GB。

CapacityUsedGB

hdfs_namenode_fsnamesystem_CapacityUsedGB

NameNode已经使用的空间大小,单位GB。

CorruptBlocks

hdfs_namenode_fsnamesystem_CorruptBlocks

NameNode损坏的块数。

ExcessBlocks

hdfs_namenode_fsnamesystem_ExcessBlocks

NameNode超过副本数的块数。

ExpiredHeartbeats

hdfs_namenode_fsnamesystem_ExpiredHeartbeats

DataNode向NameNode心跳超时的个数。

MissingBlocks

hdfs_namenode_fsnamesystem_MissingBlocks

NameNode丢失的块数。

TotalFiles

hdfs_namenode_fsnamesystem_TotalFiles

NameNode所有的文件和目录个数之和(HDFS 2.x)。

TotalFiles

hdfs_namenode_fsnamesystem_FilesTotal

NameNode所有的文件和目录个数之和(HDFS 3.x)。

UnderReplicatedBlocks

hdfs_namenode_fsnamesystem_UnderReplicatedBlocks

NameNode不足副本的块数。

PendingDeletionBlocks

hdfs_namenode_fsnamesystem_PendingDeletionBlocks

NameNode等待删除的块数。

PendingReplicationBlocks

hdfs_namenode_fsnamesystem_PendingReplicationBlocks

NameNode等待复制的块数。

PostponedMisreplicatedBlocks

hdfs_namenode_fsnamesystem_PostponedMisreplicatedBlocks

NameNode启动时被推迟处理的块数。

TotalLoad

hdfs_namenode_fsnamesystem_TotalLoad

整个集群的客户端连接数。

NumLiveDataNodes

hdfs_namenode_fsnamesystem_NumLiveDataNodes

NameNode存活的DataNode个数。

NumDeadDataNodes

hdfs_namenode_fsnamesystem_NumDeadDataNodes

处于Dead状态的DataNode个数。

NumDecomLiveDataNodes

hdfs_namenode_fsnamesystem_NumDecomLiveDataNodes

NameNode在线的已经decommision的DataNode个数。

NumDecomDeadDataNodes

hdfs_namenode_fsnamesystem_NumDecomDeadDataNodes

NameNode离线的已经decommission的DataNode个数。

NumDecommissioningDataNodes

hdfs_namenode_fsnamesystem_NumDecommissioningDataNodes

NameNode正在decommision的DataNode个数。

StaleDataNodes

hdfs_namenode_fsnamesystem_StaleDataNodes

NameNode由于Heartbeat延迟被标记为stale的DataNode个数,默认是超过三个心跳时间。

VolumeFailuresTotal

hdfs_namenode_fsnamesystem_VolumeFailuresTotal

DataNode存盘算坏的总数。

HDFS-DataNodes

参数

指标

描述

Rpc QueueTime Num Ops

hdfs_datanode_rpc_activity_RpcQueueTimeNumOps

DataNode RPC被调用次数。

Rpc QueueTime Avg Time

hdfs_datanode_rpc_activity_RpcQueueTimeAvgTime

DataNode RPC队列平均耗时。单位:毫秒。

Rpc ProcessingTime Num Ops

hdfs_datanode_rpc_activity_RpcProcessingTimeNumOps

DataNode RPC被调用次数。

Rpc ProcessingTime Avg Time

hdfs_datanode_rpc_activity_RpcProcessingTimeAvgTime

DataNode RPC平均处理时间。单位:毫秒。

Rpc CallQueueLength

hdfs_datanode_rpc_activity_CallQueueLength

DataNode RPC队列积压长度。

RPC Networkdrop Connections

hdfs_datanode_rpc_activity_NumDroppedConnections

DataNode RPC中断的连接数。

RPC Networkopen Connections

hdfs_datanode_rpc_activity_NumOpenConnections

DataNode RPC正在连接的连接数。

Rpc Slow Calls

hdfs_datanode_rpc_activity_RpcSlowCalls

DataNode RPC慢连接数。

ReadBlockOp Num Ops

hdfs_datanode_rpc_ReadBlockOpNumOps

DataNode RPC ReadBlock调用次数。

ReadBlockOp Avg Time

hdfs_datanode_rpc_ReadBlockOpAvgTime

DataNode RPC ReadBlock调用平均时间。单位:毫秒。

WriteBlockOpNumOps

hdfs_datanode_rpc_WriteBlockOpNumOps

DataNode RPC WriteBlock调用次数。

WriteBlockOp Avg Time

hdfs_datanode_rpc_WriteBlockOpAvgTime

DataNode RPC WriteBloc调用平均时间。单位:毫秒。

CopyBlockOpNumOps

hdfs_datanode_rpc_CopyBlockOpNumOps

DataNode RPC CopyBlock调用次数。

CopyBlockOpAvgTime

hdfs_datanode_rpc_CopyBlockOpAvgTime

DataNode RPC CopyBlock调用平均时间。单位:毫秒。

ReplaceBlockOpNumOps

hdfs_datanode_rpc_ReplaceBlockOpNumOps

DataNode RPC ReplaceBlock调用次数。

ReplaceBlockOpAvgTime

hdfs_datanode_rpc_ReplaceBlockOpAvgTime

DataNode RPC ReplaceBlock调用平均时间。单位:毫秒。

BlockReportsAvgTime

hdfs_datanode_rpc_BlockReportsAvgTime

DataNode RPC BlockReports调用平均时间。单位:毫秒。

BlockReportsNumOps

hdfs_datanode_rpc_BlockReportsNumOps

DataNode RPC BlockReports调用次数。

IncrementalBlockReportsAvgTime

hdfs_datanode_rpc_IncrementalBlockReportsAvgTime

DataNode RPC IncrementalBlockReports调用平均时间。单位:毫秒。

IncrementalBlockReportsNumOps

hdfs_datanode_rpc_IncrementalBlockReportsNumOps

DataNode RPC IncrementalBlockReports调用次数。

BlocksRead

hdfs_datanode_rpc_BlocksRead

DataNode RPC读取块次数。

BlocksRemoved

hdfs_datanode_rpc_BlocksRemoved

DataNode RPC移除块次数。

BlocksReplicated

hdfs_datanode_rpc_BlocksReplicated

DataNode RPC复制块次数。

BlocksVerified

hdfs_datanode_rpc_BlocksVerified

DataNode RPC验证块次数。

BlocksWritten

hdfs_datanode_rpc_BlocksWritten

DataNode RPC块写入次数。

CopyBlockOpAvgTime

hdfs_datanode_rpc_CopyBlockOpAvgTime

DataNode RPC CopyBlock调用平均时间。单位:毫秒。

CopyBlockOpNumOps

hdfs_datanode_rpc_CopyBlockOpNumOps

DataNode RPC CopyBlock调用次数

HeartbeatsAvgTime

hdfs_datanode_rpc_HeartbeatsAvgTime

DataNode RPC Heartbeats调用平均时间。单位:毫秒。

HeartbeatsNumOps

hdfs_datanode_rpc_HeartbeatsNumOps

DataNode RPC Heartbeats调用次数。

ReadBlockOp Avg Time

hdfs_datanode_rpc_ReadBlockOpAvgTime

DataNode RPC ReadBloc调用平均时间。单位:毫秒。

ReadBlockOp Num Ops

hdfs_datanode_rpc_ReadBlockOpNumOps

DataNode RPC ReadBloc调用次数。

Reads Local

hdfs_datanode_rpc_ReadsFromLocalClient

DataNode RPC本地Client读取次数。

Reads Local Remote

hdfs_datanode_rpc_ReadsFromRemoteClient

DataNode RPC远程Client读取次数。

Writes Local

hdfs_datanode_rpc_WritesFromLocalClient

DataNode RPC本地Client写入次数。

Writes Local Remote

hdfs_datanode_rpc_WritesFromRemoteClient

DataNode RPC远程Client写入次数。

PacketAckRoundTripTimeNanosAvgTime

hdfs_datanode_rpc_PacketAckRoundTripTimeNanosAvgTime

DataNode RPC副本写入ACK时间。单位:毫秒。

FlushNanosAvgTime

hdfs_datanode_rpc_FlushNanosAvgTime

DataNode RPC flush调用平均时间。单位:毫秒。

FlushNanosNumOps

hdfs_datanode_rpc_FlushNanosNumOps

DataNode RPC flush调用次数。

ReplaceBlockOpAvgTime

hdfs_datanode_rpc_ReplaceBlockOpAvgTime

DataNode RPC ReplaceBlock调用平均时间。单位:毫秒。

ReplaceBlockOpNumOps

hdfs_datanode_rpc_ReplaceBlockOpNumOps

DataNode RPC ReplaceBlock调用次数。单位:毫秒。

GC Time

hdfs_datanode_jvm_GcTimeMillis

DataNode GC时间。单位:毫秒。

GC Count

hdfs_datanode_jvm_GcCount

DataNode GC次数。

ThreadsTerminated

hdfs_datanode_jvm_ThreadsTerminated

DataNode进程中结束的线程个数。

ThreadsTimedWaiting

hdfs_datanode_jvm_ThreadsTimedWaiting

DataNode进程中等待(wait)一定时间后运行的线程个数。

ThreadsWaiting

hdfs_datanode_jvm_ThreadsWaiting

DataNode进程中等待运行的线程个数。

ThreadsBlocked

hdfs_datanode_jvm_ThreadsBlocked

DataNode进程中由于资源或锁原因被组织的线程个数。

MemHeapMaxM

hdfs_datanode_jvm_MemHeapMaxM

DataNode设置的JVM最大内存大小。单位:MB。

MemMaxM

hdfs_datanode_jvm_MemMaxM

DataNode可用的最大内存。单位:MB。

MemHeapUsedM

hdfs_datanode_jvm_MemHeapUsedM

DataNode堆使用的内存大小。单位:MB。

MemNonHeapUsedM

hdfs_datanode_jvm_MemNonHeapUsedM

DataNode非堆使用的内存大小。单位:MB。

MemHeapCommittedM

hdfs_datanode_jvm_MemHeapCommittedM

DataNode堆内存commit大小。单位:MB。

HDFS-NameNodes

参数

指标

描述

SafeModeTime

hdfs_namenode_rpc_SafeModeTime

NameNode安全模式时间。单位:毫秒。

BlockReportAvgTime

hdfs_namenode_rpc_BlockReportAvgTime

NameNode块汇报平均时间。单位:毫秒。

FilesCreated

hdfs_namenode_rpc_FilesCreated

NameNode建立文件次数。

FilesDeleted

hdfs_namenode_rpc_FilesDeleted

NameNode删除文件次数。

FilesAppended

hdfs_namenode_rpc_FilesAppended

NameNode追加文件次数。

FilesRenamed

hdfs_namenode_rpc_FilesRenamed

NameNode重命名文件次数。

FsImageLoadTime

hdfs_namenode_rpc_FsImageLoadTime

NameNode读取FSImage时间。单位:毫秒。

GetAdditionalDatanodeOps

hdfs_namenode_rpc_GetAdditionalDatanodeOps

NameNode获取新的DataNode用于写Block次数。

GetBlockLocations

hdfs_namenode_rpc_GetBlockLocations

NameNode获取块信息次数。

SyncsAvgTime

hdfs_namenode_rpc_SyncsAvgTime

NameNode Sync操作平均时间。单位:毫秒。

FilesDeleted

hdfs_namenode_rpc_FilesDeleted

NameNode成功删除文件的操作次数。

TransactionsAvgTime

hdfs_namenode_rpc_TransactionsAvgTime

NameNode写入EditLog的平均时间。单位:毫秒。

TransactionsNumOps

hdfs_namenode_rpc_TransactionsNumOps

NameNode写入EditLog的次数。

SyncsNumOps

hdfs_namenode_rpc_SyncsNumOps

NameNode与JournalNode同步次数。

HDFS-JournanlNodes

参数

指标

描述

RpcQueueTimeNumOps

hdfs_journalnode_rpc_activity_RpcQueueTimeNumOps

JournalNode RPC被调用次数。单位:毫秒。

RpcQueueTimeAvgTime

hdfs_journalnode_rpc_activity_RpcQueueTimeAvgTime

JournalNode RPC队列平均耗时。单位:毫秒。

RpcProcessingTimeNumOps

hdfs_journalnode_rpc_activity_RpcProcessingTimeNumOps

JournalNode RPC被调用次数。

RpcProcessingTimeAvgTime

hdfs_journalnode_rpc_activity_RpcProcessingTimeAvgTime

JournalNode RPC平均处理时间。单位:毫秒。

CallQueueLength

hdfs_journalnode_rpc_activity_CallQueueLength

JournalNode RPC队列积压长度。

NumDroppedConnections

hdfs_journalnode_rpc_activity_NumDroppedConnections

JournalNode RPC中断的连接数。

NumOpenConnections

hdfs_journalnode_rpc_activity_NumOpenConnections

JournalNode RPC正在连接的连接数。

RpcSlowCalls

hdfs_journalnode_rpc_activity_RpcSlowCalls

JournalNode RPC慢连接数。

NewEpochNumOps

hdfs_journalnode_rpc_detailed_activity_NewEpochNumOps

JournalNode RPC NewEpoch调用次数。

NewEpochAvgTime

hdfs_journalnode_rpc_detailed_activity_NewEpochAvgTime

JournalNode RPC NewEpoch调用平均时间。单位:毫秒。

StartLogSegmentNumOps

hdfs_journalnode_rpc_detailed_activity_StartLogSegmentNumOps

JournalNode RPC StartLogSegment调用次数。

StartLogSegmentAvgTime

hdfs_journalnode_rpc_detailed_activity_StartLogSegmentAvgTime

JournalNode RPC StartLogSegment调用平均时间。单位:毫秒。

JournalNumOps

hdfs_journalnode_rpc_detailed_activity_JournalNumOps

JournalNode RPC Journal调用次数。

JournalAvgTime

hdfs_journalnode_rpc_detailed_activity_JournalAvgTime

JournalNode RPC Journal调用平均时间。单位:毫秒。

FinalizeLogSegmentNumOps

hdfs_journalnode_rpc_detailed_activity_FinalizeLogSegmentNumOps

JournalNode RPC FinalizeLogSegment调用次数。

FinalizeLogSegmentAvgTime

hdfs_journalnode_rpc_detailed_activity_FinalizeLogSegmentAvgTime

JournalNode FinalizeLogSegment调用平均时间。单位:毫秒。

GcTimeMillis

hdfs_journalnode_jvm_GcTimeMillis

JournalNode GC时间。单位:毫秒。

GcCount

hdfs_journalnode_jvm_GcCount

JournalNode GC次数。

ThreadsTerminated

hdfs_journalnode_jvm_ThreadsTerminated

JournalNode进程中结束的线程个数。

ThreadsTimedWaiting

hdfs_journalnode_jvm_ThreadsTimedWaiting

JournalNode进程中等待一定时间后运行的线程个数。

ThreadsWaiting

hdfs_journalnode_jvm_ThreadsWaiting

JournalNode进程中等待运行的线程个数。

ThreadsBlocked

hdfs_journalnode_jvm_ThreadsBlocked

JournalNode进程中由于资源或锁原因被组织的线程个数

MemHeapMaxM

hdfs_journalnode_jvm_MemHeapMaxM

JournalNode设置的JVM最大内存大小。单位:MB。

MemMaxM

hdfs_journalnode_jvm_MemMaxM

JournalNode可用的最大内存。单位:MB。

MemHeapUsedM

hdfs_journalnode_jvm_MemHeapUsedM

JournalNode堆使用的内存大小。单位:MB。

MemNonHeapUsedM

hdfs_journalnode_jvm_MemNonHeapUsedM

JournalNode非堆使用的内存大小。单位:MB。