文档

HBase外部表(HBase标准版或增强版)

更新时间:

在MaxCompute与阿里云HBase服务间的网络处于连通状态时,MaxCompute支持您通过创建HBase外部表来关联HBase标准版或增强版集群中的表。使用HBase外部表,可以将HBase中的数据同步到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase的表中。本文为您介绍如何创建HBase外部表。

背景信息

HBase是兼容标准HBase访问协议的分布式数据库,包含HBase标准版、HBase增强版和HBase Serverless版,MaxCompute仅支持访问HBase标准版或HBase增强版集群。

默认情况下,MaxCompute与阿里云HBase服务间的网络不可达,您需要提前通过专有网络连接方案(VPC)建立二者间的网络通路后,才可以创建HBase外部表来关联HBase标准版或增强版集群中的表。注意MaxCompute通过外部表的方式访问HBase时,网络打通包括通过Network建立MaxCompute和VPC的网络链路,也需要打开HBase的白名单,详情请参见设置白名单

说明

HBase增强版是基于云原生多模数据库Lindorm内核研发的,HBase增强版实例也可以通过Lindorm控制台创建,该场景下创建HBase外部表的操作,请参见Lindorm外部表(云原生多模数据库)。本文仅以通过HBase控制台创建的HBase实例为例进行介绍。

前提条件

创建HBase外部表前,请确认已经满足如下条件:

  • 已创建HBase标准版或增强版集群,并完成环境配置。

    更多购买HBase标准版集群及配置环境信息,请参见HBase标准版快速入门

    更多购买HBase增强版集群及配置环境信息,请参见HBase增强版快速入门

  • 已通过HBase客户端在HBase集群中创建好了表。

    更多创建HBase表信息,请参见使用HBase Shell

    为便于展示使用示例,本文假设已在HBase标准版或增强版集群中创建了表mf_hbase_test_t,建表命令如下。

    --创建HBase表。
    create 'mf_hbase_test_t', 'f'
    --插入数据。其中:1表示RowKey,col_family:col_name表示列,f表示col_family,col1表示col_name,hello表示col_value。
    put 'mf_hbase_test_t', '1', 'f:col1', 'hello'
  • 已创建待关联HBase表的目标MaxCompute项目。

    更多创建MaxCompute项目信息,请参见创建MaxCompute项目

  • 已安装MaxCompute客户端。

    更多安装MaxCompute客户端操作,请参见安装并配置MaxCompute客户端

  • 已基于专有网络连接方案,开通MaxCompute和HBase服务间的网络连接。

    更多专有网络连接方案信息,请参见网络开通流程

使用限制

  • 支持华北2(北京)、华东2(上海)、华北3(张家口)、华东1(杭州)、华南1(深圳)、中国(香港)、新加坡、德国(法兰克福)、美国(弗吉尼亚)地域通过访问VPC方案(专线直连)连接MaxCompute和云数据库RDS,仅这九个地域可以创建RDS数据源外部表,其他地域暂不支持。

  • 网络打通时,MaxCompute侧仅打通到所填VPC ID的网络连接,如需跨Region访问或者访问该Region的其他VPC,请根据云上VPC现有打通方案,打通专线直连方案所填写的VPC和其他VPC之间的网络。

  • HBase外部表仅支持访问HBase2.x版本的集群。

  • HBase外部表暂不支持EMR HBase集群。

  • HBase外部表不支持cluster属性。

创建HBase外部表语法

在创建HBase外部表时,您需要在建表DDL语句中指定HBaseStorageHandler,并配置HBase标准版或增强版集群相关信息。建表时,表名和字段名大小写不敏感。在查询表或字段时,无需区分大小写,且不支持强制转换大小写。建表语句定义如下。

--打开Hive兼容模式。
set odps.sql.hive.compatible = true;
--仅当HBase集群为增强版时,除上述2个SET参数外,还必须配置odps.sql.hbase.version参数,切换HBase版本为lindorm。
set odps.sql.hbase.version=lindorm;
--创建HBase外部表。
create external table if not exists <mc_hbase_external>
(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
--处理HBase数据源的Handler。
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties (
                      'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>')
tblproperties (
--hbase.table.name和hbase.zookeeper.quorum必须配置。
'hbase.table.name'='<hbase_table_name>',
'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>',
--仅当HBase集群为增强版时,还必须配置hbase.client.username和hbase.client.password参数。
'hbase.client.username'='****',
'hbase.client.password'='****',
--hbase.zookeeper.property.clientPort、mcfed.zookeeper.session.timeout和hbase.client.retries.number为可选参数。
--当HBase集群为标准版时,hbase.zookeeper.property.clientPort的默认值为2181。
--当HBase集群为增强版时,hbase.zookeeper.property.clientPort的默认值为30020。
['hbase.zookeeper.property.clientPort'='{2181|30020}',]
['mcfed.zookeeper.session.timeout'='<value>',]
['hbase.client.retries.number'='<value>',]
'networklink'='<networklink_name>'
);
  • mc_hbase_external:必填。待创建HBase外部表的名称。

  • col_name:必填。HBase外部表的列名称。

  • data_type:必填。列的数据类型。

  • with serdeproperties

    • 'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>':必填。HBase外部表与HBase集群中表的列映射关系。

      • RowKey(:key)必须放在最前面。

      • 列格式为col-family:col-name1,col-family:col-name2。一个作业中col-family只能有一个。

  • hbase://VPC ip|host:port:必填。HBase上配置的Zookeeper Master。即Zookeeper连接地址(HBase标准版)或HBase集群的Java API访问地址(HBase增强版)。Zookeeper连接地址(HBase标准版)或HBase集群的Java API访问地址(HBase增强版)。也可以为关联的HBase表所属VPC网络IP、IP网段、端口。例如192.0.2.1-192.0.2.10:9000, 192.0.2.20:70050192.0.2.20/16:2181。您可以登录HBase管理控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可在连接信息处获取。

    • 对于分布式的数据源,请确认需要访问的前端IP端口以及DataNode的IP端口。HBase外部表需要填写Zookeeper、HMaster、Region Server的IP和端口(2181/30020、16000、16020)。HBase标准版的默认Zookeeper端口为2181。HBase增强版的默认Zookeeper端口为30020。

    • 由于该字段支持IP地址段,且映射IP会耗费资源,默认一次映射的IP数不能超过2000个。

  • tblproperties

    • 'hbase.table.name'='<hbase_table_name>':必填。MaxCompute所关联的HBase集群中的表的名称。必须提前通过HBase客户端建好。

    • 'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>':必填。HBase的Zookeeper的IP或域名。即Zookeeper连接地址(HBase标准版)或HBase集群的Java API访问地址(HBase增强版)。

    • hbase.client.username:必填。仅当HBase集群为增强版时,需要配置该参数。您可以登录HBase管理控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可通过连接信息处的默认用户名获取。

    • hbase.client.password:必填。仅当HBase集群为增强版时,需要配置该参数。您可以登录HBase管理控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可通过连接信息处的默认密码获取。

    • 'hbase.zookeeper.property.clientPort'='{2181|30020}':可选。HBase的Zookeeper端口。HBase标准版的默认Zookeeper端口为2181。HBase增强版的默认Zookeeper端口为30020。

    • 'mcfed.zookeeper.session.timeout'='<value>':可选。Zookeeper的超时时间。单位为毫秒,建议设置为30000。

    • 'hbase.client.retries.number'='<value>':可选。HBase客户端连接重试次数。

    • 'networklink'='<networklink_name>':必填。HBase实例所在VPC的MaxCompute网络连接。

    说明

    mcfed.zookeeperhbase开头的配置是Zookeeper的相关配置。

使用示例

  1. 登录MaxCompute客户端,执行CREATE EXTERNAL TABLE语句创建HBase外部表。

    命令示例如下。

    • HBase标准版

      set odps.sql.hive.compatible = true;
      create external table if not exists mf_hbase_test_t_ext
      (
        key  int,
        col1 string,
        col2 string
      )
      stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
      with serdeproperties (
                            'hbase.columns.mapping'=':key,f:col1,f:col2')
      tblproperties (
      'hbase.table.name'='mf_hbase_test_t',
      'hbase.zookeeper.quorum'='hb-2zef****-master1-001.hbase.rds.aliyuncs.com,hb-2zef****-master2-001.hbase.rds.aliyuncs.com,hb-2zef****-master3-001.hbase.rds.aliyuncs.com',
      'hbase.zookeeper.property.clientPort'='2181',
      'networklink'='networklink4hbase');
    • HBase增强版

      set odps.sql.external.net.vpc=true;
      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      CREATE EXTERNAL TABLE mf_hbase_test_t_ext
      (
        key  int,
        col1 string,
        col2 string
      )
      stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
      with serdeproperties (
                            'hbase.columns.mapping'=':key,f:col1,f:col2')
      tblproperties (
      'hbase.table.name'='mf_hbase_test_t',
      'hbase.zookeeper.quorum'='hb-2zef****-master1-001.hbase.rds.aliyuncs.com,hb-2zef****-master2-001.hbase.rds.aliyuncs.com,hb-2zef****-master3-001.hbase.rds.aliyuncs.com',
      'hbase.zookeeper.property.clientPort'='2181',
      'networklink'='networklink4hbase');
  2. 执行select命令查看关联结果,确保关联成功。

    命令示例如下。

    select * from mf_hbase_test_t_ext;

    返回结果如下。

    +------+------------+------------+
    | key  | col1       | col2       |
    +------+------------+------------+
    | 1    | hello      | NULL       |
    +------+------------+------------+
  3. 执行INSERT OVERWRITE语句向HBase中的表写入数据。

    命令示例如下。

    INSERT OVERWRITE TABLE mf_hbase_test_t_ext SELECT '2', 'hbase', 'mftestinsert';
  4. 执行SELECT语句验证写入的数据。

    命令示例如下。

    select * from mf_hbase_test_t_ext;

    返回结果如下。

    +------+------------+--------------------+
    | key  | col1       | col2               |
    +------+------------+--------------------+
    | 1    | hello      | NULL               |
    | 2    | hbase      | mftestinsert       |
    +------+------------+--------------------+
  • 本页导读 (1)
文档反馈