本文介绍如何在E-MapReduce上配置Knox,以通过公网方式访问HDFS、YARN、Spark和Ganglia等Web UI页面。

前提条件

已创建E-MapReduce集群,详情请参见创建集群

准备工作

  • 设置安全组访问:

    1. 获取您当前设备的公网访问IP地址。

      为了安全的访问集群组件,在设置安全组策略时,推荐您只针对当前的公网访问IP地址开放。访问IP地址,即可查看您当前的公网访问IP地址。

    2. 添加端口:

      本文以添加8443端口为例介绍。

      1. 在EMR控制台集群的基础信息页面的安全区域,单击集群安全组链接。

      2. 安全组规则页面,单击手动添加

      3. 端口范围填写为8443/8443授权对象填写为上一步骤中获取的公网访问IP地址。

      4. 单击保存

    重要
    • 为防止被外部的用户攻击导致安全问题,授权对象禁止填写为0.0.0.0/0

    • 如果您创建集群时,没有挂载公网IP,可以在ECS控制台为该ECS实例添加公网IP。

  • 设置Knox用户

    访问Knox时需要验证身份,即需要输入您的用户名和密码。Knox的用户身份验证基于LDAP,您可以使用集群中Apache Directory Server的LDAP服务。

    • 方式一(推荐)

      在集群的用户管理页面,直接添加Knox访问账号,详情请参见用户管理

    • 方式二 :

      1. 通过SSH方式连接集群,详情请参见登录集群

      2. 准备您的用户数据,例如Tom。

        编辑users.ldif文件。

        su knox
        vim /opt/apps/KNOX/knox-current/templates/users.ldif

        替换文件中所有的emr-guestTom,替换EMR GUESTTom,设置userPassword的值为您自己的密码。

      3. 执行以下命令,导入用户数据至LDAP。

        cd /opt/apps/KNOX/knox-current/templates
        sh ldap-sample-users.sh

访问Web UI

访问Web UI的详情,请参见访问链接与端口

常见问题

  • Q:Knox组件异常停止,启动Knox的时候报错Failed to start gateway: org.apache.hadoop.gateway.services.ServiceLifecycleException: Gateway SSL Certificate is Expired,具体信息如下图所示。ERROR

  • A:您可以按照以下步骤处理。

    1. 使用SSH登录集群,详情请参见登录集群

    2. 执行以下命令,将之前错误的证书重命名。

      sudo mv /opt/apps/KNOX/knox-current/data/security/keystores/gateway.jks /opt/apps/KNOX/knox-current/data/security/keystores/bak_gateway.jks
      说明

      您也可以将之前错误的证书移动到其他目录。

    3. 启动Knox。

      1. 在EMR控制台的集群服务页面,选择Knox服务区域的more > 启动

      2. 在弹出的对话框中,输入执行原因,单击确定

      3. 确认对话框中,单击确定