通过域名访问EMR集群

为避免因集群弹性伸缩或节点故障而导致的IP地址变更对业务连续性产生影响,EMR集群支持在同一VPC或跨VPC场景下,通过集群节点域名访问EMR服务。本文档将详细介绍如何配置EMR集群的域名访问。

前提条件

  • 已成功创建EMR集群,并获取了集群节点的完整域名(例如:master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com)。

  • 访问发起方(例如:ACK集群或ECS 实例)已成功部署,并且可以进行登录。

  • 确保网络和安全组规则允许相关流量的通过。建议配置ICMP协议以及目标服务端口,例如808088。

场景一:访问发起方与集群在同一VPC

在同一VPC内,EMR集群的域名可以通过PrivateZone自动解析,无需额外配置,以下为验证步骤。

步骤一:获取集群主节点域名

  1. 通过SSH方式连接集群,详情请参见登录集群

  2. 执行hostname -f获取节点完整域名。

    image

步骤二:验证域名访问

  1. 登录访问发起方,例如ECS实例。

  2. 执行ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com,验证网络联通性。

    image收到上述所示的返回报文,表示域名解析成功,且访问方VPCEMR集群VPC之间的网络已成功连通。

说明
  • 若解析失败,请检查安全组规则是否允许ICMP流量或目标服务的端口。

  • 确保访问发起方的DNS配置未被更改,默认采用阿里云VPC提供的DNS服务。

场景二:访问发起方与集群在不同VPC

当访问发起方与EMR集群位于不同VPC时,必须配置VPC网络互联及PrivateZone域名解析。以下是相关的配置与验证步骤。

步骤一:创建VPC对等连接

  1. 登录对等连接管理控制台。在顶部菜单栏处,选择发起端VPC所在地域,本文为华北2(北京)

  2. 如果您是初次使用VPC对等连接,请在VPC对等连接页面,单击开通CDT功能,然后在弹出的对话框单击确定开通

    说明

    如果创建跨账号VPC对等连接,您需要确保接收端阿里云账号已经开通了CDT功能。

  3. VPC对等连接页面,单击创建对等连接,配置以下参数信息。

    E20A1099-C438-410B-9DBD-C0CDCB223EDF.png

    跨地域情况下,您可以根据业务时延要求选择链路类型

    • :阿里云默认为您提供金牌带宽能力,能满足您对于时延和链路质量的一般要求。

    • 铂金:如果您的业务需要更低时延和更强稳定性链路,例如证券交易、实时游戏等,您可以选择此类型。

    说明
    • 您可以创建同账号同地域同账号跨地域跨账号同地域以及跨账号跨地域VPC对等连接。

    • 接收端账号为同账号时,发起端发起对等连接请求后,系统会自动建立连接,无需在接收端接收。

    • 接收端账号为跨账号时,发起端发起对等连接请求后,需要接收端接收连接请求后,才能建立VPC对等连接;接收端也可以拒绝连接请求,从而终止VPC对等连接的请求。接收端具体操作如下:

      1. 使用接收端账号登录专有网络管理控制台在左侧导航栏,单击VPC对等连接

      2. VPC对等连接页面,找到目标VPC对等连接,此时VPC对等连接的状态为接收中image根据实际场景选择是否接收请求:

        • 接收请求:VPC对等连接的状态由接收中变为更新中

          VPC对等连接激活成功后状态变为已激活,表明该VPC对等连接可以正常使用。

        • 拒绝请求:VPC对等连接的状态由接收中变为已拒绝

          状态为已拒绝VPC对等连接无法使用,可以在发起端或者接收端删除VPC对等连接。

        • 如果接收端未对跨账号VPC对等连接请求做任何操作,7天后,该VPC对等连接进入已过期状态。

步骤二:配置路由

VPC对等连接创建完成且状态为已激活后,需要在VPC对等连接的两端添加指向对端的路由条目以实现VPC私网互通。

  1. VPC对等连接页面,找到已创建的VPC对等连接,在发起端VPC实例列/接收端VPC实例列单击配置路由条目peer-route

  2. 分别配置发起端VPC和接收端VPCIPv4/IPv6路由条目。下图以IPv4路由条目配置为例。

    A5670115-E729-4548-B2A1-1C74843A220E.png

    配置项说明

    配置项

    说明

    专有网络

    系统自动显示当前发起端的VPC实例。

    路由表

    在下拉列表中选择该VPC实例所关联的路由表。

    目标网段

    • VPC对等连接配置IPv4路由

      选择目标网段类型为IPv4,输入接收端的IPv4 CIDR网段。

    • VPC对等连接配置IPv6路由

      选择目标网段类型为IPv6,输入接收端的IPv6 CIDR网段。

    下一跳

    系统自动显示下一跳对等连接实例。

说明

跨账号对等连接的场景下,您需要使用接收端账号登录专有网络管理控制台输入发送端VPCIPv4/IPv6 CIDR网段,以配置接收端VPC的路由。

步骤三:将访问方VPC绑定到集群VPC所在PrivateZone

目前EMR集群不支持自行绑定,请在官网提交工单,联系EMR产品售后团队将访问方的VPC绑定到EMR集群的VPC所在的PrivateZone。绑定后,EMR集群的PrivateZone域名解析能力已扩展至访问方VPC。

步骤四:验证域名访问

  1. 登录访问发起方,例如ECS实例。

  2. 执行ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com,验证网络联通性。

    image收到上述所示的返回报文,表示域名解析成功,且访问方VPCEMR集群VPC之间的网络已成功连通。

说明
  • 若解析失败,请检查安全组规则是否允许ICMP流量或目标服务的端口。

  • 确保访问发起方的DNS配置未被更改,默认采用阿里云VPC提供的DNS服务。

常见问题

域名无法解析

网络不通

使用tracerttelnet测试网络连通性,验证安全组规则是否放行目标端口,具体安全组配置,请参见管理安全组