本文介绍如何设置安全组并访问集群上的开源组件,集群创建完成以后,E-MapReduce会为您的集群创建默认绑定几个域名,来方便您访问您的开源组件YARN、HDFS、Spark、Ganglia、Hue和Zeppelin。

设置安全组访问

当您初次使用组件时,您需要按照以下步骤来打开您的安全组访问权限。

  1. 获取公网访问IP地址。

    为了安全的访问集群组件,在设置安全组策略时,推荐您只针对当前的公网访问IP地址开放。获取您当前的公网访问IP地址的方法是,访问 http://ip.taobao.com/ ,然后在左下角即可查看您当前的公网访问IP地址。

  2. 增加安全组策略。
    1. 登录阿里云 E-MapReduce 控制台
    2. 单击上方的集群管理页签。
    3. 集群管理页面的集群列表中,单击对应集群后面的详情
    4. 在集群的详情页面的网络信息区域,查看网络类型,单击安全组ID链接。
    5. 单击添加安全组规则,根据需求开启以下端口。

      说明
      • 如果集群的网络类型是VPC,则配置内网入方向。如果集群的网络类型是经典网络,则配置公网入方向
      • 此处以VPC网络为例。
      • 开放应用出入规则时应遵循最小授权原则。根据应用需求,只开放对应的端口。

      访问不同组件Web UI需要打开的端口如下表:

      服务名称 需要打开的端口
      YARN UI 8443
      说明 当集群开启Ranger后,可以访问RANGER UI。
      HDFS UI
      Spark History Server UI
      Ganglia UI
      RANGER UI
      Zeppelin 8080
      Hue 8888
      • 添加8443端口

        添加8443端口
      • 添加8080端口

        添加8080端口
      • 添加8888端口

        添加8888端口
        说明 授权对象即为步骤1中获取的公网访问IP地址。
    6. 完成以上策略配置后,进入入方向页面,可查看新增策略。配置策略合集

      上述配置成功后,您即已安全的开放了网络访问路径,网络配置完成。

访问开源组件的Web UI

  1. 登录阿里云 E-MapReduce 控制台
  2. 单击上方的集群管理页签。
  3. 集群管理页面的集群列表中,单击对应集群后面的详情
  4. 在集群详情页面左侧的导航栏中,单击访问链接与端口
  5. 访问链接与端口页面,即可正常的访问Web UI页面。
    说明
    • 集群创建完成后,默认会绑定几个域名,以方便您访问以下开源组件:HDFS、YARN、Spark、Hue、Zeppelin和Ganglia。
    • 在 2.7.x 以上版本,或者是 3.5.x 以上版本,您可以使用knox账号访问HDFS、YARN、Spark和Ganglia的UI页面,详细信息请参见Knox 使用说明;访问Hue时请输入Hue的账户和密码,详细信息请参见Hue 使用说明;Zeppelin可直接访问,无需账户密码。