HDFS Web UI介绍

本文为您介绍如何访问HDFS Web界面,包括获取NameNode服务地址、浏览NameNode UI首页,并提供有关启动NameNode UI的相关说明。

访问HDFS Web UI

您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见通过SSH隧道方式访问开源组件Web UI访问链接与端口

NameNode服务地址

版本

访问地址

说明

hadoop 3.x

http://${namenode_hostname}:9870

${namenode_hostname}需要替换为对应节点的hostname。

hadoop 2.x

http://${namenode_hostname}:50070

${namenode_hostname}需要替换成对应节点的hostname。

NameNode UI首页介绍

Overview

Overview

其中,第一行Overview后,为当前NameNode节点的hostname,括号内为active或standby,对应当前节点的高可用状态。其他参数说明如下。

参数

说明

Namespace

NameNode的nameservice地址。

NameNode ID

当前NameNode的Service ID。

Started

NameNode本次启动时间。

Version

HDFS版本号。

Compiled

编译相关信息。

Cluster ID

HDFS集群标识。

Block Pool ID

HDFS Block Pool标识。

Summary

Summary

主要信息说明如下:

  • Security:表示集群是否开启了Kerberos安全认证。

  • Safemode:表示集群是否处理只读状态。

  • 文件、目录和数据块的数量,Active NameNode和Standby NameNode的统计有一定差异,属于正常现象。在这种情况下,应以Active NameNode提供的数据为标准。

NameNode Journal Status

NameNode在高可用模式下,需要重点关注,其中:

  • Active NameNode为写模式Active NameNode为写模式

    监控Active节点的QJM(Quorum Journal Manager)状态时,需密切观察每个Journal Node上的Written txid的ID值。如果发现某个ID持续为0,或与其他两个Journal Node的ID值差异显著,则需要重置对应的Journal Node。

  • Standby NameNode为读模式Standby NameNode为读模式

    通常,Standby节点上的QJM状态设置为读取模式,不需要特别关注。

NameNode Storage

NameNode Storage

由于NameNode异步进行FsImage checkpointing,所以需要密切关注Image Type状态。例如,如果Standby Node的Image Type长时间显示为Failed,则会导致编辑日志(edits)的堆积。在这样的情形下,如果发生NameNode重启,则会消耗较多时间来读取堆积的edits文件。

NameNode UI启动说明

NameNode UI启动

NameNode的启动主要包括加载文件系统镜像(Load FsImage)、加载编辑日志(Load edits)和等待数据节点报告其持有的数据块(Wait Reported blocks)几个关键步骤。正常情况下,这些步骤应该相对迅速完成,但如果某些步骤耗时过长,可能需要采取优化措施。

  • 如果Load FsImage和Wait Reported blocks阶段耗时过长,可以检查是否需要调整GC参数。

  • 如果Load edits阶段耗时过长,可以检查JournalNode下是否积压了大量尚未处理的日志。JournalNode的目录信息请参见HDFS组件使用的本地磁盘目录

相关文档

如果在使用HDFS过程中遇到任何问题或故障,详情请参见常见问题和故障诊断