在调用API时,为了防止资源组不能正常访问数据源,您需要确保资源组的网络连通性。本文为您介绍EMR HBase数据源和资源组在不同网络环境下配置网络连通性的方法。
注意事项
HBase数据源仅支持使用独享数据服务资源组,且当前仅支持配置EMR中的HBase与独享数据服务资源组网络连通。
HBase和独享数据服务资源组在同一VPC中
当Hbase和独享数据服务资源在同一VPC中时,您需要通过配置Hbase的安全组,允许独享数据服务资源组访问Hbase端口。配置主要流程和操作要点如下。
step1:获取独享数据服务资源组的交换机网段信息
登录购买独享数据服务资源组时绑定的VPC控制台,进入交换机列表页面,找到独享数据服务资源组的交换机名称,并复制相应的IPv4网段。
step2:获取HBase端口信息
登录EMR控制台后,进入EMR集群的HBase集群服务的配置页面,在配置项中通过关键词“port”搜索相关配置项,复制以下几个配置项对应的端口数据。
hbase.master.info.port
hbase.master.port
hbase.regionserver.port
hbase.regionserver.info.port
hbase.zookeeper.property.clientPort
step3:配置HBase安全组
登录EMR控制台后,在集群的基础信息页面,找到集群安全组配置入口,配置集群安全组。添加入方向的访问规则,核心配置项如下。
协议类型:配置为自定义TCP。
端口范围:将上述获取的HBase端口信息配置到此处。配置注意事项:
端口范围的配置格式为起始端口/结束端口,例如上述获取的HBase的hbase.master.info.port的端口号为16010,则此端口范围需配置为16010/16010。
上述5个参数的端口号对应的端口范围均需要配置,多个端口范围间可通过逗号分隔。
授权对象:配置为上述获取的独享数据服务资源组VPC的交换机IPv4网段。
HBase和独享数据服务资源组在不同VPC中
step1:配置VPC间网络连通
当Hbase和独享数据服务资源在不同VPC中时,您需要通过VPN网关等方式,将两个VPC间的网络打通,不同场景下的VPC间网络连通方案请参见获取白名单IP地址:独享数据服务资源组文档中的不同VPC场景相关内容。
step2:配置HBase的hbase.zookeeper.quorum解析
通常EMR集群中有多个集群节点,在此场景下,您还需配置HBase的hbase.zookeeper.quorum解析,保障集群节点间的内部消息转发能正常转发,此步骤的解析需使用云解析DNS。主要操作流程和操作要点如下。
在EMR中获取hbase.zookeeper.quorum取值和节点信息。
登录EMR控制台后,进入EMR集群的HBase集群服务的配置页面,在配置项中搜索hbase.zookeeper.quorum,将节点名称和端口号中间的内容复制并记录。
登录EMR控制台后,进入EMR集群的节点管理页面,查看当前集群的节点名称和内网IP。
在云解析DNS中添加A记录。
登录云解析DNS的PrivateZone控制台后,单击添加Zone,配置Zone名称为上述步骤中获取的hbase.zookeeper.quorum的节点名称和端口号中间内容。
进入刚添加的Zone后,单击添加记录,依次添加EMR集群各个节点的A记录解析。其中:
主机记录配置为节点名称。
记录值配置为对应节点的内网IP。
如上图所示,EMR集群有一个master节点,2个core节点,您需依次添加3条A记录解析。
关联独享数据服务资源组的VPC。
添加完成A记录解析后,返回privarteZone界面,单击上述创建的Zone操作列的关联VPC,根据界面提示,选择独享资源所在地域,关联独享资源组的VPC。
step3:配置安全组
完成上述两个步骤的配置后,您还需配置HBase的安全组,允许独享数据服务资源组访问Hbase端口,安全组的配置与同VPC场景一致,详情可参见上文同VPC场景的内容HBase和独享数据服务资源组在同一VPC中。