本文为您介绍HDFS指标的详细信息。
HDFS-HOME
参数 | 指标 | 描述 |
BlocksTotal | hdfs_namenode_fsnamesystem_BlocksTotal | NameNode总的块数。 |
CapacityRemainingGB | hdfs_namenode_fsnamesystem_CapacityRemainingGB | NameNode剩余的空间大小，单位GB。 |
CapacityTotalGB | hdfs_namenode_fsnamesystem_CapacityTotalGB | NameNode配置的总的空间大小，单位GB。 |
CapacityUsedGB | hdfs_namenode_fsnamesystem_CapacityUsedGB | NameNode已经使用的空间大小，单位GB。 |
CorruptBlocks | hdfs_namenode_fsnamesystem_CorruptBlocks | NameNode损坏的块数。 |
ExcessBlocks | hdfs_namenode_fsnamesystem_ExcessBlocks | NameNode超过副本数的块数。 |
ExpiredHeartbeats | hdfs_namenode_fsnamesystem_ExpiredHeartbeats | DataNode向NameNode心跳超时的个数。 |
MissingBlocks | hdfs_namenode_fsnamesystem_MissingBlocks | NameNode丢失的块数。 |
TotalFiles | hdfs_namenode_fsnamesystem_TotalFiles | NameNode所有的文件和目录个数之和（HDFS 2.x）。 |
TotalFiles | hdfs_namenode_fsnamesystem_FilesTotal | NameNode所有的文件和目录个数之和（HDFS 3.x）。 |
UnderReplicatedBlocks | hdfs_namenode_fsnamesystem_UnderReplicatedBlocks | NameNode不足副本的块数。 |
PendingDeletionBlocks | hdfs_namenode_fsnamesystem_PendingDeletionBlocks | NameNode等待删除的块数。 |
PendingReplicationBlocks | hdfs_namenode_fsnamesystem_PendingReplicationBlocks | NameNode等待复制的块数。 |
PostponedMisreplicatedBlocks | hdfs_namenode_fsnamesystem_PostponedMisreplicatedBlocks | NameNode启动时被推迟处理的块数。 |
TotalLoad | hdfs_namenode_fsnamesystem_TotalLoad | 整个集群的客户端连接数。 |
NumLiveDataNodes | hdfs_namenode_fsnamesystem_NumLiveDataNodes | NameNode存活的DataNode个数。 |
NumDeadDataNodes | hdfs_namenode_fsnamesystem_NumDeadDataNodes | 处于Dead状态的DataNode个数。 |
NumDecomLiveDataNodes | hdfs_namenode_fsnamesystem_NumDecomLiveDataNodes | NameNode在线的已经decommision的DataNode个数。 |
NumDecomDeadDataNodes | hdfs_namenode_fsnamesystem_NumDecomDeadDataNodes | NameNode离线的已经decommission的DataNode个数。 |
NumDecommissioningDataNodes | hdfs_namenode_fsnamesystem_NumDecommissioningDataNodes | NameNode正在decommision的DataNode个数。 |
StaleDataNodes | hdfs_namenode_fsnamesystem_StaleDataNodes | NameNode由于Heartbeat延迟被标记为stale的DataNode个数，默认是超过三个心跳时间。 |
VolumeFailuresTotal | hdfs_namenode_fsnamesystem_VolumeFailuresTotal | DataNode存盘算坏的总数。 |
HDFS-DataNodes
参数 | 指标 | 描述 |
Rpc QueueTime Num Ops | hdfs_datanode_rpc_activity_RpcQueueTimeNumOps | DataNode RPC被调用次数。 |
Rpc QueueTime Avg Time | hdfs_datanode_rpc_activity_RpcQueueTimeAvgTime | DataNode RPC队列平均耗时。单位：毫秒。 |
Rpc ProcessingTime Num Ops | hdfs_datanode_rpc_activity_RpcProcessingTimeNumOps | DataNode RPC被调用次数。 |
Rpc ProcessingTime Avg Time | hdfs_datanode_rpc_activity_RpcProcessingTimeAvgTime | DataNode RPC平均处理时间。单位：毫秒。 |
Rpc CallQueueLength | hdfs_datanode_rpc_activity_CallQueueLength | DataNode RPC队列积压长度。 |
RPC Networkdrop Connections | hdfs_datanode_rpc_activity_NumDroppedConnections | DataNode RPC中断的连接数。 |
RPC Networkopen Connections | hdfs_datanode_rpc_activity_NumOpenConnections | DataNode RPC正在连接的连接数。 |
Rpc Slow Calls | hdfs_datanode_rpc_activity_RpcSlowCalls | DataNode RPC慢连接数。 |
ReadBlockOp Num Ops | hdfs_datanode_rpc_ReadBlockOpNumOps | DataNode RPC ReadBlock调用次数。 |
ReadBlockOp Avg Time | hdfs_datanode_rpc_ReadBlockOpAvgTime | DataNode RPC ReadBlock调用平均时间。单位：毫秒。 |
WriteBlockOpNumOps | hdfs_datanode_rpc_WriteBlockOpNumOps | DataNode RPC WriteBlock调用次数。 |
WriteBlockOp Avg Time | hdfs_datanode_rpc_WriteBlockOpAvgTime | DataNode RPC WriteBloc调用平均时间。单位：毫秒。 |
CopyBlockOpNumOps | hdfs_datanode_rpc_CopyBlockOpNumOps | DataNode RPC CopyBlock调用次数。 |
CopyBlockOpAvgTime | hdfs_datanode_rpc_CopyBlockOpAvgTime | DataNode RPC CopyBlock调用平均时间。单位：毫秒。 |
ReplaceBlockOpNumOps | hdfs_datanode_rpc_ReplaceBlockOpNumOps | DataNode RPC ReplaceBlock调用次数。 |
ReplaceBlockOpAvgTime | hdfs_datanode_rpc_ReplaceBlockOpAvgTime | DataNode RPC ReplaceBlock调用平均时间。单位：毫秒。 |
BlockReportsAvgTime | hdfs_datanode_rpc_BlockReportsAvgTime | DataNode RPC BlockReports调用平均时间。单位：毫秒。 |
BlockReportsNumOps | hdfs_datanode_rpc_BlockReportsNumOps | DataNode RPC BlockReports调用次数。 |
IncrementalBlockReportsAvgTime | hdfs_datanode_rpc_IncrementalBlockReportsAvgTime | DataNode RPC IncrementalBlockReports调用平均时间。单位：毫秒。 |
IncrementalBlockReportsNumOps | hdfs_datanode_rpc_IncrementalBlockReportsNumOps | DataNode RPC IncrementalBlockReports调用次数。 |
BlocksRead | hdfs_datanode_rpc_BlocksRead | DataNode RPC读取块次数。 |
BlocksRemoved | hdfs_datanode_rpc_BlocksRemoved | DataNode RPC移除块次数。 |
BlocksReplicated | hdfs_datanode_rpc_BlocksReplicated | DataNode RPC复制块次数。 |
BlocksVerified | hdfs_datanode_rpc_BlocksVerified | DataNode RPC验证块次数。 |
BlocksWritten | hdfs_datanode_rpc_BlocksWritten | DataNode RPC块写入次数。 |
CopyBlockOpAvgTime | hdfs_datanode_rpc_CopyBlockOpAvgTime | DataNode RPC CopyBlock调用平均时间。单位：毫秒。 |
CopyBlockOpNumOps | hdfs_datanode_rpc_CopyBlockOpNumOps | DataNode RPC CopyBlock调用次数 |
HeartbeatsAvgTime | hdfs_datanode_rpc_HeartbeatsAvgTime | DataNode RPC Heartbeats调用平均时间。单位：毫秒。 |
HeartbeatsNumOps | hdfs_datanode_rpc_HeartbeatsNumOps | DataNode RPC Heartbeats调用次数。 |
ReadBlockOp Avg Time | hdfs_datanode_rpc_ReadBlockOpAvgTime | DataNode RPC ReadBloc调用平均时间。单位：毫秒。 |
ReadBlockOp Num Ops | hdfs_datanode_rpc_ReadBlockOpNumOps | DataNode RPC ReadBloc调用次数。 |
Reads Local | hdfs_datanode_rpc_ReadsFromLocalClient | DataNode RPC本地Client读取次数。 |
Reads Local Remote | hdfs_datanode_rpc_ReadsFromRemoteClient | DataNode RPC远程Client读取次数。 |
Writes Local | hdfs_datanode_rpc_WritesFromLocalClient | DataNode RPC本地Client写入次数。 |
Writes Local Remote | hdfs_datanode_rpc_WritesFromRemoteClient | DataNode RPC远程Client写入次数。 |
PacketAckRoundTripTimeNanosAvgTime | hdfs_datanode_rpc_PacketAckRoundTripTimeNanosAvgTime | DataNode RPC副本写入ACK时间。单位：毫秒。 |
FlushNanosAvgTime | hdfs_datanode_rpc_FlushNanosAvgTime | DataNode RPC flush调用平均时间。单位：毫秒。 |
FlushNanosNumOps | hdfs_datanode_rpc_FlushNanosNumOps | DataNode RPC flush调用次数。 |
ReplaceBlockOpAvgTime | hdfs_datanode_rpc_ReplaceBlockOpAvgTime | DataNode RPC ReplaceBlock调用平均时间。单位：毫秒。 |
ReplaceBlockOpNumOps | hdfs_datanode_rpc_ReplaceBlockOpNumOps | DataNode RPC ReplaceBlock调用次数。单位：毫秒。 |
GC Time | hdfs_datanode_jvm_GcTimeMillis | DataNode GC时间。单位：毫秒。 |
GC Count | hdfs_datanode_jvm_GcCount | DataNode GC次数。 |
ThreadsTerminated | hdfs_datanode_jvm_ThreadsTerminated | DataNode进程中结束的线程个数。 |
ThreadsTimedWaiting | hdfs_datanode_jvm_ThreadsTimedWaiting | DataNode进程中等待（wait）一定时间后运行的线程个数。 |
ThreadsWaiting | hdfs_datanode_jvm_ThreadsWaiting | DataNode进程中等待运行的线程个数。 |
ThreadsBlocked | hdfs_datanode_jvm_ThreadsBlocked | DataNode进程中由于资源或锁原因被组织的线程个数。 |
MemHeapMaxM | hdfs_datanode_jvm_MemHeapMaxM | DataNode设置的JVM最大内存大小。单位：MB。 |
MemMaxM | hdfs_datanode_jvm_MemMaxM | DataNode可用的最大内存。单位：MB。 |
MemHeapUsedM | hdfs_datanode_jvm_MemHeapUsedM | DataNode堆使用的内存大小。单位：MB。 |
MemNonHeapUsedM | hdfs_datanode_jvm_MemNonHeapUsedM | DataNode非堆使用的内存大小。单位：MB。 |
MemHeapCommittedM | hdfs_datanode_jvm_MemHeapCommittedM | DataNode堆内存commit大小。单位：MB。 |
HDFS-NameNodes
参数 | 指标 | 描述 |
SafeModeTime | hdfs_namenode_rpc_SafeModeTime | NameNode安全模式时间。单位：毫秒。 |
BlockReportAvgTime | hdfs_namenode_rpc_BlockReportAvgTime | NameNode块汇报平均时间。单位：毫秒。 |
FilesCreated | hdfs_namenode_rpc_FilesCreated | NameNode建立文件次数。 |
FilesDeleted | hdfs_namenode_rpc_FilesDeleted | NameNode删除文件次数。 |
FilesAppended | hdfs_namenode_rpc_FilesAppended | NameNode追加文件次数。 |
FilesRenamed | hdfs_namenode_rpc_FilesRenamed | NameNode重命名文件次数。 |
FsImageLoadTime | hdfs_namenode_rpc_FsImageLoadTime | NameNode读取FSImage时间。单位：毫秒。 |
GetAdditionalDatanodeOps | hdfs_namenode_rpc_GetAdditionalDatanodeOps | NameNode获取新的DataNode用于写Block次数。 |
GetBlockLocations | hdfs_namenode_rpc_GetBlockLocations | NameNode获取块信息次数。 |
SyncsAvgTime | hdfs_namenode_rpc_SyncsAvgTime | NameNode Sync操作平均时间。单位：毫秒。 |
FilesDeleted | hdfs_namenode_rpc_FilesDeleted | NameNode成功删除文件的操作次数。 |
TransactionsAvgTime | hdfs_namenode_rpc_TransactionsAvgTime | NameNode写入EditLog的平均时间。单位：毫秒。 |
TransactionsNumOps | hdfs_namenode_rpc_TransactionsNumOps | NameNode写入EditLog的次数。 |
SyncsNumOps | hdfs_namenode_rpc_SyncsNumOps | NameNode与JournalNode同步次数。 |
HDFS-JournanlNodes
参数 | 指标 | 描述 |
RpcQueueTimeNumOps | hdfs_journalnode_rpc_activity_RpcQueueTimeNumOps | JournalNode RPC被调用次数。单位：毫秒。 |
RpcQueueTimeAvgTime | hdfs_journalnode_rpc_activity_RpcQueueTimeAvgTime | JournalNode RPC队列平均耗时。单位：毫秒。 |
RpcProcessingTimeNumOps | hdfs_journalnode_rpc_activity_RpcProcessingTimeNumOps | JournalNode RPC被调用次数。 |
RpcProcessingTimeAvgTime | hdfs_journalnode_rpc_activity_RpcProcessingTimeAvgTime | JournalNode RPC平均处理时间。单位：毫秒。 |
CallQueueLength | hdfs_journalnode_rpc_activity_CallQueueLength | JournalNode RPC队列积压长度。 |
NumDroppedConnections | hdfs_journalnode_rpc_activity_NumDroppedConnections | JournalNode RPC中断的连接数。 |
NumOpenConnections | hdfs_journalnode_rpc_activity_NumOpenConnections | JournalNode RPC正在连接的连接数。 |
RpcSlowCalls | hdfs_journalnode_rpc_activity_RpcSlowCalls | JournalNode RPC慢连接数。 |
NewEpochNumOps | hdfs_journalnode_rpc_detailed_activity_NewEpochNumOps | JournalNode RPC NewEpoch调用次数。 |
NewEpochAvgTime | hdfs_journalnode_rpc_detailed_activity_NewEpochAvgTime | JournalNode RPC NewEpoch调用平均时间。单位：毫秒。 |
StartLogSegmentNumOps | hdfs_journalnode_rpc_detailed_activity_StartLogSegmentNumOps | JournalNode RPC StartLogSegment调用次数。 |
StartLogSegmentAvgTime | hdfs_journalnode_rpc_detailed_activity_StartLogSegmentAvgTime | JournalNode RPC StartLogSegment调用平均时间。单位：毫秒。 |
JournalNumOps | hdfs_journalnode_rpc_detailed_activity_JournalNumOps | JournalNode RPC Journal调用次数。 |
JournalAvgTime | hdfs_journalnode_rpc_detailed_activity_JournalAvgTime | JournalNode RPC Journal调用平均时间。单位：毫秒。 |
FinalizeLogSegmentNumOps | hdfs_journalnode_rpc_detailed_activity_FinalizeLogSegmentNumOps | JournalNode RPC FinalizeLogSegment调用次数。 |
FinalizeLogSegmentAvgTime | hdfs_journalnode_rpc_detailed_activity_FinalizeLogSegmentAvgTime | JournalNode FinalizeLogSegment调用平均时间。单位：毫秒。 |
GcTimeMillis | hdfs_journalnode_jvm_GcTimeMillis | JournalNode GC时间。单位：毫秒。 |
GcCount | hdfs_journalnode_jvm_GcCount | JournalNode GC次数。 |
ThreadsTerminated | hdfs_journalnode_jvm_ThreadsTerminated | JournalNode进程中结束的线程个数。 |
ThreadsTimedWaiting | hdfs_journalnode_jvm_ThreadsTimedWaiting | JournalNode进程中等待一定时间后运行的线程个数。 |
ThreadsWaiting | hdfs_journalnode_jvm_ThreadsWaiting | JournalNode进程中等待运行的线程个数。 |
ThreadsBlocked | hdfs_journalnode_jvm_ThreadsBlocked | JournalNode进程中由于资源或锁原因被组织的线程个数 |
MemHeapMaxM | hdfs_journalnode_jvm_MemHeapMaxM | JournalNode设置的JVM最大内存大小。单位：MB。 |
MemMaxM | hdfs_journalnode_jvm_MemMaxM | JournalNode可用的最大内存。单位：MB。 |
MemHeapUsedM | hdfs_journalnode_jvm_MemHeapUsedM | JournalNode堆使用的内存大小。单位：MB。 |
MemNonHeapUsedM | hdfs_journalnode_jvm_MemNonHeapUsedM | JournalNode非堆使用的内存大小。单位：MB。 |