本文为您介绍如何访问HDFS Web界面,包括获取NameNode服务地址、浏览NameNode UI首页,并提供有关启动NameNode UI的相关说明。
访问HDFS Web UI
您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见通过SSH隧道方式访问开源组件Web UI和访问链接与端口。
NameNode服务地址
版本 | 访问地址 | 说明 |
hadoop 3.x | http://${namenode_hostname}:9870 | ${namenode_hostname}需要替换为对应节点的hostname。 |
hadoop 2.x | http://${namenode_hostname}:50070 | ${namenode_hostname}需要替换成对应节点的hostname。 |
NameNode UI首页介绍
Overview
其中,第一行Overview后,为当前NameNode节点的hostname,括号内为active或standby,对应当前节点的高可用状态。其他参数说明如下。
参数 | 说明 |
Namespace | NameNode的nameservice地址。 |
NameNode ID | 当前NameNode的Service ID。 |
Started | NameNode本次启动时间。 |
Version | HDFS版本号。 |
Compiled | 编译相关信息。 |
Cluster ID | HDFS集群标识。 |
Block Pool ID | HDFS Block Pool标识。 |
Summary
主要信息说明如下:
Security:表示集群是否开启了Kerberos安全认证。
Safemode:表示集群是否处理只读状态。
文件、目录和数据块的数量,Active NameNode和Standby NameNode的统计有一定差异,属于正常现象。在这种情况下,应以Active NameNode提供的数据为标准。
NameNode Journal Status
NameNode在高可用模式下,需要重点关注,其中:
Active NameNode为写模式
监控Active节点的QJM(Quorum Journal Manager)状态时,需密切观察每个Journal Node上的Written txid的ID值。如果发现某个ID持续为0,或与其他两个Journal Node的ID值差异显著,则需要重置对应的Journal Node。
Standby NameNode为读模式
通常,Standby节点上的QJM状态设置为读取模式,不需要特别关注。
NameNode Storage
由于NameNode异步进行FsImage checkpointing,所以需要密切关注Image Type状态。例如,如果Standby Node的Image Type长时间显示为Failed,则会导致编辑日志(edits)的堆积。在这样的情形下,如果发生NameNode重启,则会消耗较多时间来读取堆积的edits文件。
NameNode UI启动说明
NameNode的启动主要包括加载文件系统镜像(Load FsImage)、加载编辑日志(Load edits)和等待数据节点报告其持有的数据块(Wait Reported blocks)几个关键步骤。正常情况下,这些步骤应该相对迅速完成,但如果某些步骤耗时过长,可能需要采取优化措施。
如果Load FsImage和Wait Reported blocks阶段耗时过长,可以检查是否需要调整GC参数。
如果Load edits阶段耗时过长,可以检查JournalNode下是否积压了大量尚未处理的日志。JournalNode的目录信息请参见HDFS组件使用的本地磁盘目录。
相关文档
如果在使用HDFS过程中遇到任何问题或故障,详情请参见常见问题和故障诊断。