在MaxCompute与阿里云Lindorm服务间的网络处于连通状态时,MaxCompute支持您通过创建外部表来关联Lindorm表。使用Lindorm外部表,可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理,也可以关联Lindorm表进行联邦计算,或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。

背景信息

Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理,并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口和无缝集成三方生态工具,是日志、监控、账单、广告、社交、出行、风控等场景首选数据库,也是为阿里巴巴核心业务提供支撑的数据库之一。更多Lindorm信息请参见Lindorm产品概述

前提条件

创建Lindorm外部表前,请确认已经满足如下条件:

使用限制

由于只有华北2(北京)、华东2(上海)、华北3(张家口)、华东1(杭州)和华南1(深圳)五个地域开通了专有网络连接方案,只有以上五个地域可以创建Lindorm外部表,其他地域暂不支持。

创建Lindorm外部表语法

在创建Lindorm外部表时,您需要在建表DDL语句中指定HBaseStorageHandler,并配置Lindorm集群相关信息。建表时,表名和字段名大小写不敏感。在查询表或字段时,无需区分大小写,且不支持强制转换大小写。建表语句定义如下。
--打开外部表VPC支持。
set odps.sql.external.net.vpc=true;
--打开Hive兼容模式。
set odps.sql.hive.compatible = true;
--配置odps.sql.hbase.version参数,切换HBase版本为lindorm。
set odps.sql.hbase.version=lindorm;
--创建Lindorm外部表。
create external table if not exists <mc_lindorm_external>
(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
--处理Lindorm数据源的Handler。
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties (
                      'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>',
                      'odps.external.net.vpc'='<true>',
                      'odps.vpc.id'='<VPC ID>',
                      'odps.vpc.access.ips'='<VPC ip|host:port,VPC ipBegin-ipEnd:port|network_segment:port>',
                      'odps.vpc.region'='<RegionID>')
tblproperties (
--hbase.table.name和mcfed.hbase.zookeeper.quorum必须配置。
'hbase.table.name'='<lindorm_table_name>',
'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>',
--配置hbase.client.username和hbase.client.password参数。
'hbase.client.username'='****',
'hbase.client.password'='****',
--hbase.zookeeper.property.clientPort、mcfed.zookeeper.session.timeout和hbase.client.retries.number为可选参数。
--hbase.zookeeper.property.clientPort的默认值为30020。
['hbase.zookeeper.property.clientPort'='{30020}',]
['mcfed.zookeeper.session.timeout'='<value>',]
['hbase.client.retries.number'='<value>']);
  • mc_lindorm_external:必填。待创建Lindorm外部表的名称。
  • col_name:必填。Lindorm外部表的列名称。
  • data_type:必填。列的数据类型。
  • with serdeproperties
    • 'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>':必填。Lindorm外部表与Lindorm集群中表的列映射关系。
      • RowKey(:key)必须放在最前面。
      • 列格式为col-family:col-name1,col-family:col-name2。一个作业中col-family只能有一个。
    • 'odps.external.net.vpc'='true':必填。固定取值为true,表明Lindorm外部表的数据源处于VPC网络。
    • 'odps.vpc.id'='<VPC ID>':VPC实例ID。您可以登录Lindorm控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可在连接信息处获取VPC ID。
    • 'odps.vpc.access.ips'='<VPC ip|host:port,VPC ipBegin-ipEnd:port|network_segment:port>':必填。Lindorm集群的Java API访问地址。也可以为关联的Lindorm表所属VPC网络IP、IP网段、端口。例如192.0.2.1-192.0.2.10:9000, 192.0.2.20:70050192.0.2.20/16:2181。您可以登录Lindorm控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可在连接信息处获取。
      • 对于分布式的数据源,请确认需要访问的前端IP端口以及DataNode的IP端口。Lindorm外部表需要填写Zookeeper、HMaster、Region Server的IP和端口(2181/30020、16000、16020)。Lindorm的默认Zookeeper端口为30020。
      • 由于该字段支持IP地址段,且映射IP会耗费资源,默认一次映射的IP数不能超过2000个。
    • 'odps.vpc.region'='<RegionID>':VPC网络所属地域ID。获取方法请参见获取RegionID及VPC ID
  • hbase://VPC ip|host:port:必填。Lindorm上配置的Zookeeper Master。Lindorm集群的Java API访问地址。
  • tblproperties
    • 'hbase.table.name'='<lindorm_table_name>':必填。MaxCompute所关联的Lindorm集群中的表的名称。必须提前通过Lindorm控制台建好。
    • 'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>':必填。Lindorm的Zookeeper的IP或域名。即Lindorm集群的Java API访问地址。
    • hbase.client.username:必填。您可以登录Lindorm控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可通过连接信息处的默认用户名获取。
    • hbase.client.password:必填。您可以登录Lindorm控制台,在集群列表页面单击目标集群名称后,在左侧导航栏单击数据库连接,即可通过连接信息处的默认密码获取。
    • 'hbase.zookeeper.property.clientPort'='{2181|30020}':可选。Lindorm的Zookeeper端口。Lindorm的默认Zookeeper端口为30020。
    • 'mcfed.zookeeper.session.timeout'='<value>':可选。Zookeeper的超时时间。单位为毫秒,建议设置为30000。
    • 'hbase.client.retries.number'='<value>':可选。Lindorm控制台连接重试次数。
    说明 mcfed.zookeeperhbase开头的配置是Zookeeper的相关配置。

使用示例

  1. 使用Lindorm Shell创建Lindorm表并插入数据。
    1. 创建mf_lindorm_test_t表。
      create 'mf_lindorm_test_t','f';
    2. 向表mf_lindorm_test_t插入数据。
      put 'mf_lindorm_test_t', '1122', 'f:col1', 'hello';
      put 'mf_lindorm_test_t', '1122', 'f:col2', 'hbase';
    3. 查询表mf_lindorm_test_t数据。
      scan 'mf_lindorm_test_t';
      查询结果如下图所示:查询数据
  2. 创建MaxCompute外部表并映射Lindorm数据源。
    1. 配置环境信息并创建MaxCompute的Lindorm外部表mf_lindorm_test_t_ext
      set odps.sql.external.net.vpc=true;
      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      CREATE EXTERNAL TABLE mf_lindorm_test_t_ext
      (
      key  int,
      col1 string,
      col2 string
      )
      STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
      WITH SERDEPROPERTIES (
      'hbase.columns.mapping'=':key,f:col1,f:col2',
      'odps.external.net.vpc'='true',
      'odps.vpc.id'='vpc-2z****',
      'odps.vpc.access.ips'='ld-2ze****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
      'odps.vpc.region'='cn-beijing')
      TBLPROPERTIES (
      'hbase.table.name'='mf_lindorm_test_t',
      'hbase.zookeeper.quorum'='ld-2z****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
      "hbase.client.username"="root",
      "hbase.client.password"="root");
    2. 查询外部表mf_lindorm_test_t_ext数据。
      select * from mf_lindorm_test_t_ext;
      查询结果如下:
      +------------+------------+----------+
      | key        | col1       | col2     |
      +------------+------------+----------+
      | 1122       | hello      | hbase    |  
      +------------+------------+----------+
    3. 向外部表mf_lindorm_test_t_ext插入数据。
      执行INSERT OVERWRITE语句向已创建的外部表写入数据。
      INSERT OVERWRITE TABLE mf_lindorm_test_t_ext SELECT '1123', 'lindorm', 'mftestinsert';
    4. 再次查询外部表mf_lindorm_test_t_ext数据。
      select * from mf_lindorm_test_t_ext;
      查询结果如下:
      +------------+------------+-------------+
      | key        | col1       | col2        |
      +------------+------------+-------------+
      | 1122       | hello      | hbase       | 
      | 1123       | lindorm    | mftestinsert|   
      +------------+------------+-------------+
    5. 使用scan语句查询Lindorm表mf_lindorm_test_t数据。
      scan 'mf_lindorm_test_t';
      查询结果如下:查询结果