为避免因集群弹性伸缩或节点故障而导致的IP地址变更对业务连续性产生影响,EMR集群支持在同一VPC或跨VPC场景下,通过集群节点域名访问EMR服务。本文档将详细介绍如何配置EMR集群的域名访问。
前提条件
已成功创建EMR集群,并获取了集群节点的完整域名(例如:master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com)。
访问发起方(例如:ACK集群或ECS 实例)已成功部署,并且可以进行登录。
确保网络和安全组规则允许相关流量的通过。建议配置ICMP协议以及目标服务端口,例如80或8088。
场景一:访问发起方与集群在同一VPC
在同一VPC内,EMR集群的域名可以通过PrivateZone自动解析,无需额外配置,以下为验证步骤。
步骤一:获取集群主节点域名
通过SSH方式连接集群,详情请参见登录集群。
执行
hostname -f
获取节点完整域名。
步骤二:验证域名访问
登录访问发起方,例如ECS实例。
执行
ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com
,验证网络联通性。收到上述所示的返回报文,表示域名解析成功,且访问方VPC与EMR集群VPC之间的网络已成功连通。
若解析失败,请检查安全组规则是否允许ICMP流量或目标服务的端口。
确保访问发起方的DNS配置未被更改,默认采用阿里云VPC提供的DNS服务。
场景二:访问发起方与集群在不同VPC
当访问发起方与EMR集群位于不同VPC时,必须配置VPC网络互联及PrivateZone域名解析。以下是相关的配置与验证步骤。
步骤一:创建VPC对等连接
登录对等连接管理控制台。在顶部菜单栏处,选择发起端VPC所在地域,本文为华北2(北京)。
如果您是初次使用VPC对等连接,请在VPC对等连接页面,单击开通CDT功能,然后在弹出的对话框单击确定开通。
说明如果创建跨账号VPC对等连接,您需要确保接收端阿里云账号已经开通了CDT功能。
在VPC对等连接页面,单击创建对等连接,配置以下参数信息。
跨地域情况下,您可以根据业务时延要求选择链路类型。
金:阿里云默认为您提供金牌带宽能力,能满足您对于时延和链路质量的一般要求。
铂金:如果您的业务需要更低时延和更强稳定性链路,例如证券交易、实时游戏等,您可以选择此类型。
说明您可以创建同账号同地域、同账号跨地域、跨账号同地域以及跨账号跨地域的VPC对等连接。
接收端账号为同账号时,发起端发起对等连接请求后,系统会自动建立连接,无需在接收端接收。
接收端账号为跨账号时,发起端发起对等连接请求后,需要接收端接收连接请求后,才能建立VPC对等连接;接收端也可以拒绝连接请求,从而终止VPC对等连接的请求。接收端具体操作如下:
使用接收端账号登录专有网络管理控制台。在左侧导航栏,单击VPC对等连接。
在VPC对等连接页面,找到目标VPC对等连接,此时VPC对等连接的状态为接收中。
根据实际场景选择是否接收请求:
接收请求:VPC对等连接的状态由接收中变为更新中。
待VPC对等连接激活成功后状态变为已激活,表明该VPC对等连接可以正常使用。
拒绝请求:VPC对等连接的状态由接收中变为已拒绝。
状态为已拒绝的VPC对等连接无法使用,可以在发起端或者接收端删除该VPC对等连接。
如果接收端未对跨账号VPC对等连接请求做任何操作,7天后,该VPC对等连接进入已过期状态。
步骤二:配置路由
VPC对等连接创建完成且状态为已激活后,需要在VPC对等连接的两端添加指向对端的路由条目以实现VPC私网互通。
在VPC对等连接页面,找到已创建的VPC对等连接,在发起端VPC实例列/接收端VPC实例列单击配置路由条目。
分别配置发起端VPC和接收端VPC的IPv4/IPv6路由条目。下图以IPv4路由条目配置为例。
跨账号对等连接的场景下,您需要使用接收端账号登录专有网络管理控制台。输入发送端VPC的IPv4/IPv6 CIDR网段,以配置接收端VPC的路由。
步骤三:将访问方VPC绑定到集群VPC所在PrivateZone
目前EMR集群不支持自行绑定,请在官网提交工单,联系EMR产品售后团队将访问方的VPC绑定到EMR集群的VPC所在的PrivateZone。绑定后,EMR集群的PrivateZone域名解析能力已扩展至访问方VPC。
步骤四:验证域名访问
登录访问发起方,例如ECS实例。
执行
ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com
,验证网络联通性。收到上述所示的返回报文,表示域名解析成功,且访问方VPC与EMR集群VPC之间的网络已成功连通。
若解析失败,请检查安全组规则是否允许ICMP流量或目标服务的端口。
确保访问发起方的DNS配置未被更改,默认采用阿里云VPC提供的DNS服务。
常见问题
域名无法解析
确认访问方是否使用阿里云默认DNS服务器,阿里云默认DNS服务器地址为:100.100.2.136以及100.100.2.138。如果不是,请修改
/etc/resolv.conf
文件。登录云解析DNS控制台,确认EMR集群PrivateZone是否正确关联访问方VPC,如果不是,请参见场景二:访问发起方与集群在不同VPC。
网络不通
使用tracert或telnet测试网络连通性,验证安全组规则是否放行目标端口,具体安全组配置,请参见管理安全组。