访问链接与端口

通过访问链接与端口功能,您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接,以便查看集群中开源组件的UI界面。

前提条件

已创建E-MapReduce集群,详情请参见创建集群

背景信息

方式

优点

限制

方式一:通过Knox服务代理访问开源组件UI

  • 只需在集群安全组开启较少端口。

  • 可以通过管理用户中添加的用户进行身份认证。

  • 集群需要安装OpenLDAP和Knox服务。

  • 需要在集群安全组开启8443端口。

    重要

    如果通过Knox服务代理实现内网访问,不仅需要集群安全组开启8843端口,还须确保客户端机器与集群节点处于同一内网环境。

  • 支持的服务:

    • DataLake集群:HDFS、YARN、Tez、Spark、HBase、Flink、Impala、Trino、Kudu。

    • Hadoop集群:HDFS、YARN、Tez、Gangla、Spark、Oozie、HBase、Flink、Impala、Presto、Kudu。

方式二:通过内网IP地址访问开源组件UI

不需要添加Knox服务。

  • 客户端机器需要与集群节点处于同一内网环境。

  • 需要根据访问的服务端口逐一添加安全组规则。

方式一:通过Knox服务代理访问开源组件UI

添加安全组规则

当您初次使用组件时,您需要按照以下步骤来打开您的安全组访问权限:

  1. 获取机器的公网访问IP地址。

    为了安全的访问集群组件,在设置安全组策略时,推荐您只针对当前的公网访问IP地址开放。您可以访问IP地址,查看并获取当前的公网访问IP地址。

  2. 进入集群基础信息页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群的集群ID

  3. 增加安全组规则。

    1. 基础信息页面,单击集群安全组的链接。

    2. 安全组规则页面,根据需求开启8443端口。

      重要

      为防止被外部的用户攻击导致安全问题,授权对象禁止填写为0.0.0.0/0

      1. 安全组规则页面,单击手动添加

      2. 端口范围填写为8443/8443授权对象填写为步骤1中获取的公网访问IP地址。

      3. 单击保存

      说明
      • 如果集群的网络类型是VPC,则配置内网入方向。如果集群的网络类型是经典网络,则配置公网入方向。此处以VPC网络为例。

      • 开放应用出入规则时应遵循最小授权原则。根据应用需求,只开放对应的端口。

    3. 完成以上策略配置后,即可查看新增策略。

      配置成功后,您即已安全的开放了网络访问路径。

访问开源组件的Web UI

  1. 进入访问链接与端口页签。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群的集群ID

    4. 单击上方的访问链接与端口页签。

  2. 访问链接与端口页面,单击服务所在行的Knox链接,即可正常的访问Web UI页面。

    重要

    如果集群的Master节点未绑定公网,您只能使用Knox内网链接进行访问。如果您需要使用公网访问方式,请按照以下方式操作。

    1. 节点管理页面,单击master-1-1节点的ECS ID。

    2. 在ECS控制台,为master-1-1节点的ECS实例绑定弹性IP,详情请参见绑定和解绑弹性公网IP

    3. 同步主机信息。

      1. 节点管理页面,选择右上角的全部操作 > 同步主机信息

      2. 在弹出的对话框中,单击确定

        访问链接与端口页面,即可访问Knox公网地址。

  3. 使用用户管理中的用户身份信息进行登录认证,即可进入相应的UI页面。

    用户账号创建请参见管理用户

  4. 部分特殊组件UI访问方式。

    • 访问Ranger UI

    • 当集群开启Ranger后,您可以使用默认的用户名和密码访问RANGER UI,详情请参见Ranger概述

      说明
      • 数据湖场景(DataLake集群)

        • EMR-3.44.0及后续版本、EMR-5.10.0及后续版本

          默认用户名为admin,密码为Admin1234。如果忘记默认密码,请参见常见问题

        • EMR-3.44.0之前版本、EMR-5.10.0之前版本

          默认用户名为admin,密码为admin1234。如果忘记默认密码,请参见常见问题

      • 旧版数据湖场景(Hadoop集群)

        默认的用户名和密码均为admin。如果忘记默认密码,请参见常见问题

    • 访问Flink UI(EMR-3.29.0之前版本)

      早期版本Flink组件仅支持通过SSH隧道方式访问Web UI时,请参见通过SSH隧道方式访问开源组件Web UI

      说明

      访问YARN UI页面上的Flink作业:您可以在EMR控制台的访问链接与端口页面,单击YARN UI所在行的链接,在Hadoop控制台,单击Flink作业的ID,即可查看Flink作业运行的详情。

方式二:通过内网IP地址访问开源组件UI

添加安全组规则

  1. 获取本地机器的内网IP地址。

    为了安全的访问集群组件,在设置安全组策略时,推荐您只针对本地机器的内网IP地址开放安全组端口。

  2. 进入集群基础信息页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 在EMR on ECS的集群管理页面,单击目标集群的集群ID

  3. 增加安全组规则。

    1. 基础信息页面,单击默认安全组的链接。

    2. 安全组规则页面,根据需求开启端口。

      重要

      为防止被外部的用户攻击导致安全问题,授权对象禁止填写为0.0.0.0/0

      访问不同组件Web UI需要打开的端口不同,具体请查看组件原生UI地址IP后的端口。本文以添加HDFS端口为例,HDFS的原生内网地址为https://{主机内网IP}:8088,则需要在安全组内添加8088端口规则。

      1. 安全组规则页面,单击手动添加

      2. 端口范围填写为8088/8088授权对象填写为步骤1中获取的内网IP地址。

      3. 单击保存

      说明
      • 如果集群的网络类型是VPC,则配置内网入方向。如果集群的网络类型是经典网络,则配置公网入方向。此处以VPC网络为例。

      • 开放应用出入规则时应遵循最小授权原则。根据应用需求,只开放对应的端口。

    3. 完成以上策略配置后,即可查看新增策略。

访问开源组件UI的原生地址

  1. 进入访问链接与端口页签。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群的集群ID

    4. 单击上方的访问链接与端口页签。

  2. 访问链接与端口页面,单击服务所在行的原生UI链接,即可正常访问Web UI页面。

常见问题

为什么单击服务的链接地址没有反应?

如果您使用Knox代理地址,则需要在集群的安全组中添加8443端口。如果使用服务原生地址,则需要提前在集群的安全组中添加服务对应的Web端口。添加安全组规则详情,请参见添加安全组规则

弹出的用户名密码如何填写?

请使用在用户管理功能中添加的用户信息进行认证。添加用户详情,请参见管理用户

为什么访问链接与端口页面显示空白?

  • 如果该页面没有任何信息,请确认是否是账号欠费停机导致的。如果是这种情况,需要先缴费,然后等待一段时间才能恢复服务。

  • 如果只是Knox代理地址列没有信息,请确认集群是否安装了OpenLDAP和Knox服务。

  • 如果是因为早期开源组件与Knox适配问题导致的WEB UI访问异常,请重新购买新版本集群。适配问题涉及以下版本的服务:

    • HBase:影响EMR 5.10.x至5.12.x版本,EMR 5.13.x及之后版本已修复。

    • Presto与Trino:影响EMR 5.10.x至5.14.x版本,EMR 5.15.x及之后版本已修复。

相关文档