文档

配置HBase数据源网络连通

更新时间:

在调用API时,为了防止资源组不能正常访问数据源,您需要确保资源组的网络连通性。本文为您介绍EMR HBase数据源和资源组在不同网络环境下配置网络连通性的方法。

注意事项

HBase数据源仅支持使用独享数据服务资源组,且当前仅支持配置EMR中的HBase与独享数据服务资源组网络连通。

HBase和独享数据服务资源组在同一VPC中

当Hbase和独享数据服务资源在同一VPC中时,您需要通过配置Hbase的安全组,允许独享数据服务资源组访问Hbase端口。配置主要流程和操作要点如下。

step1:获取独享数据服务资源组的交换机网段信息

登录购买独享数据服务资源组时绑定的VPC控制台,进入交换机列表页面,找到独享数据服务资源组的交换机名称,并复制相应的IPv4网段。交换机网段

step2:获取HBase端口信息

登录EMR控制台后,进入EMR集群的HBase集群服务的配置页面,在配置项中通过关键词“port”搜索相关配置项,复制以下几个配置项对应的端口数据。hbase端口

  • hbase.master.info.port

  • hbase.master.port

  • hbase.regionserver.port

  • hbase.regionserver.info.port

  • hbase.zookeeper.property.clientPort

step3:配置HBase安全组

登录EMR控制台后,在集群的基础信息页面,找到集群安全组配置入口,配置集群安全组。安全组添加入方向的访问规则,核心配置项如下。

  • 协议类型:配置为自定义TCP

  • 端口范围:将上述获取的HBase端口信息配置到此处。配置注意事项:

    • 端口范围的配置格式为起始端口/结束端口,例如上述获取的HBase的hbase.master.info.port的端口号为16010,则此端口范围需配置为16010/16010。

    • 上述5个参数的端口号对应的端口范围均需要配置,多个端口范围间可通过逗号分隔。

  • 授权对象:配置为上述获取的独享数据服务资源组VPC的交换机IPv4网段。

HBase和独享数据服务资源组在不同VPC中

step1:配置VPC间网络连通

当Hbase和独享数据服务资源在不同VPC中时,您需要通过VPN网关等方式,将两个VPC间的网络打通,不同场景下的VPC间网络连通方案请参见获取白名单IP地址:独享数据服务资源组文档中的不同VPC场景相关内容。

step2:配置HBase的hbase.zookeeper.quorum解析

通常EMR集群中有多个集群节点,在此场景下,您还需配置HBase的hbase.zookeeper.quorum解析,保障集群节点间的内部消息转发能正常转发,此步骤的解析需使用云解析DNS。主要操作流程和操作要点如下。

  1. 在EMR中获取hbase.zookeeper.quorum取值和节点信息。

    1. 登录EMR控制台后,进入EMR集群的HBase集群服务的配置页面,在配置项中搜索hbase.zookeeper.quorum,将节点名称和端口号中间的内容复制并记录。zookeeper参数

    2. 登录EMR控制台后,进入EMR集群的节点管理页面,查看当前集群的节点名称和内网IP。

  2. 在云解析DNS中添加A记录。

    1. 登录云解析DNS的PrivateZone控制台后,单击添加Zone,配置Zone名称为上述步骤中获取的hbase.zookeeper.quorum的节点名称和端口号中间内容。

    2. 进入刚添加的Zone后,单击添加记录,依次添加EMR集群各个节点的A记录解析。A记录其中:

      • 主机记录配置为节点名称。

      • 记录值配置为对应节点的内网IP。

      如上图所示,EMR集群有一个master节点,2个core节点,您需依次添加3条A记录解析。

  3. 关联独享数据服务资源组的VPC。

    添加完成A记录解析后,返回privarteZone界面,单击上述创建的Zone操作列的关联VPC,根据界面提示,选择独享资源所在地域,关联独享资源组的VPC。关联VPC

step3:配置安全组

完成上述两个步骤的配置后,您还需配置HBase的安全组,允许独享数据服务资源组访问Hbase端口,安全组的配置与同VPC场景一致,详情可参见上文同VPC场景的内容HBase和独享数据服务资源组在同一VPC中

  • 本页导读 (1)
文档反馈