本文介绍如何设置安全组来访问集群上的开源组件。集群创建完成以后,E-MapReduce会为您的集群默认绑定几个域名,方便您访问开源组件的Web UI。
前提条件
已创建E-MapReduce集群,详情请参见创建集群。
说明 确保创建的集群已开启挂载公网。
设置安全组访问
当您初次使用组件时,您需要按照以下步骤来打开您的安全组访问权限:
- 获取机器的公网访问IP地址。为了安全的访问集群组件,在设置安全组策略时,推荐您只针对当前的公网访问IP地址开放。访问IP地址,即可查看您当前的公网访问IP地址。
- 增加安全组策略。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群详情页面的网络信息区域,查看网络类型,单击安全组ID链接。
- 根据需求开启以下端口。注意 为防止被外部的用户攻击导致安全问题,授权对象禁止填写为0.0.0.0/0。访问不同组件Web UI需要打开的端口如下表。
服务名称 需要打开的端口 YARN UI 8443 说明 当集群开启Ranger后,可以访问RANGER UI。HDFS UI Spark History Server UI Ganglia UI Oozie Tez ImpalaCatalogd ImpalaStatestored Storm RANGER UI Zeppelin 8080 Hue 8888 以添加8443端口为例,执行以下操作:- 在安全组规则页面,单击添加安全组规则。
- 在添加安全组规则对话框中,端口范围填写8443/8443。
- 授权对象填写步骤1中获取的公网访问IP地址。
- 单击确定。
说明- 如果集群的网络类型是VPC,则配置内网入方向。如果集群的网络类型是经典网络,则配置公网入方向。此处以VPC网络为例。
- 开放应用出入规则时应遵循最小授权原则。根据应用需求,只开放对应的端口。
- 完成以上策略配置后,在入方向页面,可查看新增策略。
上述配置成功后,您即已安全的开放了网络访问路径,网络配置完成。
访问开源组件的Web UI
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在左侧导航栏中,单击访问链接与端口。
- 在访问链接与端口页面,单击服务所在行的链接,即可正常的访问Web UI页面。
- 在2.7.x以上版本,或者是3.5.x以上版本,您可以使用Knox账号访问相应的UI页面,Knox账号创建请参见管理用户,Knox使用请参见Knox 使用说明;访问Hue时请输入Hue的账户和密码,Hue使用请参见使用说明;Zeppelin可直接访问,无需账户密码。
- 当集群开启Ranger后,您可以使用默认的用户名和密码访问RANGER UI,详细信息请参见概述。
- 您可以根据集群的版本来访问Flink的Web UI:
- EMR-3.29.0之前版本
仅支持通过SSH隧道方式访问Web UI时,请参见通过SSH隧道方式访问开源组件Web UI。说明 访问YARN UI页面上的Flink作业:您可以在EMR控制台的访问链接与端口页面,单击YARN UI所在行的链接,在Hadoop控制台,单击Flink作业的ID,可以查看Flink作业运行的详情。详情请参见快速入门中的YARN UI方式。
- EMR-3.29.0及后续版本
- Flink-Vvp:您可以通过EMR控制台的方式访问Web UI,详情请参见基础使用。
- Flink(VVR):您可以通过SSH隧道方式访问Web UI,详情请参见通过SSH隧道方式访问开源组件Web UI。
说明 访问YARN UI页面上的Flink作业:您可以在EMR控制台的访问链接与端口页面,单击YARN UI所在行的链接,在Hadoop控制台,单击Flink作业的ID,可以查看Flink作业运行的详情。详情请参见快速入门中的YARN UI方式。
- EMR-3.29.0之前版本