如何创建Lindorm外部表并映射Lindorm数据源_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

在MaxCompute与阿里云Lindorm服务间的网络处于连通状态时，MaxCompute支持您通过创建外部表来关联Lindorm表。使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。

背景信息

Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理，并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口是为阿里巴巴核心业务提供支撑的数据库之一。更多Lindorm信息请参见Lindorm产品概述。

前提条件

创建Lindorm外部表前，请确认已经满足如下条件：

已创建Lindorm集群，并完成环境配置。详情请参见Lindorm快速入门。
已创建待关联Lindorm表的目标MaxCompute项目。
更多创建MaxCompute项目信息，请参见创建MaxCompute项目。
已安装MaxCompute客户端。
更多安装MaxCompute客户端操作，请参见安装并配置MaxCompute客户端。
已基于专有网络连接方案，开通MaxCompute和Lindorm服务间的网络连接。
更多专有网络连接方案信息，请参见网络开通流程。
已开通Lindorm服务并创建Lindorm实例。详情请参见创建实例。
已下载并配置Lindorm Shell。详情请参见通过Lindorm宽表SQL连接宽表引擎。

使用限制

由于只有华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）、华南1（深圳）、中国（香港）、新加坡、德国（法兰克福）、美国（弗吉尼亚）地域开通了专线直连访问VPC方案，只有以上九个地域可以创建Lindorm外部表，其他地域暂不支持。
网络打通时，MaxCompute侧仅打通到所填VPC ID的网络连接，如需跨Region访问或者访问该Region的其他VPC，请根据云上VPC现有打通方案，打通专线直连方案所填写的VPC和其他VPC之间的网络。
Lindorm外部表不支持cluster属性。

创建Lindorm外部表语法

在创建Lindorm外部表时，您需要在建表DDL语句中指定HBaseStorageHandler，并配置Lindorm集群相关信息。建表时，表名和字段名大小写不敏感。在查询表或字段时，无需区分大小写，且不支持强制转换大小写。建表语句定义如下。

--打开Hive兼容模式。
set odps.sql.hive.compatible = true;
--配置odps.sql.hbase.version参数，切换HBase版本为lindorm。
set odps.sql.hbase.version=lindorm;
--创建Lindorm外部表。
create external table if not exists <mc_lindorm_external>
(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
--处理Lindorm数据源的Handler。
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties (
                      'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>')
tblproperties (
--hbase.table.name和mcfed.hbase.zookeeper.quorum必须配置。
'hbase.table.name'='<namespace:lindorm_table_name>',
'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>',
--配置hbase.client.username和hbase.client.password参数。
'hbase.client.username'='****',
'hbase.client.password'='****',
--hbase.zookeeper.property.clientPort、mcfed.zookeeper.session.timeout和hbase.client.retries.number为可选参数。
--hbase.zookeeper.property.clientPort的默认值为30020。
['hbase.zookeeper.property.clientPort'='{30020}',]
['mcfed.zookeeper.session.timeout'='<value>',]
['hbase.client.retries.number'='<value>',]
'networklink'='<networklink_name>'
);

mc_lindorm_external：必填。待创建Lindorm外部表的名称。
col_name：必填。Lindorm外部表的列名称。
data_type：必填。列的数据类型。
with serdeproperties：
- 'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>'：必填。Lindorm外部表与Lindorm集群中表的列映射关系，详情请参见HBaseIntegration-ColumnMapping。
  - RowKey（:key1[,:key2,:keyn]）必须放在最前面。
  - 列格式为col-family:col-name1,col-family:col-name2。一个作业中col-family只能有一个。
hbase://VPC ip|host:port：必填。Lindorm上配置的Zookeeper Master。Lindorm集群的Java API访问地址。indorm集群的Java API访问地址。也可以为关联的Lindorm表所属VPC网络IP、IP网段、端口。例如192.0.2.1-192.0.2.10:9000, 192.0.2.20:70050或192.0.2.20/16:2181。您可以登录Lindorm控制台，在集群列表页面单击目标集群名称后，在左侧导航栏单击数据库连接，即可在连接信息处获取。
- 对于分布式的数据源，请确认需要访问的前端IP端口以及DataNode的IP端口。Lindorm外部表需要填写Zookeeper、HMaster、Region Server的IP和端口（2181/30020、16000、16020）。Lindorm的默认Zookeeper端口为30020。
- 由于该字段支持IP地址段，且映射IP会耗费资源，默认一次映射的IP数不能超过2000个。
tblproperties：
- 'hbase.table.name'='<namespace:lindorm_table_name>'：必填。MaxCompute所关联的Lindorm集群中的Namespace和表的名称，如果Namespace不填，会自动匹配到default的Namespace上。必须提前通过Lindorm控制台建好。
- 'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>'：必填。Lindorm的Zookeeper的IP或域名。即Lindorm集群的Java API访问地址。
- hbase.client.username：必填。您可以登录Lindorm控制台，在集群列表页面单击目标集群名称后，在左侧导航栏单击数据库连接，即可通过连接信息处的默认用户名获取。
- hbase.client.password：必填。您可以登录Lindorm控制台，在集群列表页面单击目标集群名称后，在左侧导航栏单击数据库连接，即可通过连接信息处的默认密码获取。
- 'hbase.zookeeper.property.clientPort'='{2181|30020}'：可选。Lindorm的Zookeeper端口。Lindorm的默认Zookeeper端口为30020。
- 'mcfed.zookeeper.session.timeout'='<value>'：可选。Zookeeper的超时时间。单位为毫秒，建议设置为30000。
- 'hbase.client.retries.number'='<value>'：可选。Lindorm控制台连接重试次数。
- 'networklink'='<networklink_name>'：必选。HBase实例所在VPC的MaxCompute网络链接。
说明
mcfed.zookeeper和hbase开头的配置是Zookeeper的相关配置。

使用示例

使用Lindorm Shell创建Lindorm表并插入数据。
1. 创建mf_lindorm_test_t表。
```
create 'mf_lindorm_test_t','f';
```
2. 向表mf_lindorm_test_t插入数据。
```
put 'mf_lindorm_test_t', '1122', 'f:col1', 'hello';
put 'mf_lindorm_test_t', '1122', 'f:col2', 'hbase';
```
3. 查询表mf_lindorm_test_t数据。
```
scan 'mf_lindorm_test_t';
```
  查询结果如下图所示：

创建MaxCompute外部表并映射Lindorm数据源。

配置环境信息并创建MaxCompute的Lindorm外部表mf_lindorm_test_t_ext。

set odps.sql.hive.compatible = true;
set odps.sql.hbase.version=lindorm;
CREATE EXTERNAL TABLE mf_lindorm_test_t_ext
(
key  int,
col1 string,
col2 string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
'hbase.columns.mapping'=':key,f:col1,f:col2')
TBLPROPERTIES (
'hbase.table.name'='mf_lindorm_test_t',
'hbase.zookeeper.quorum'='ld-2z****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
"hbase.client.username"="root",
"hbase.client.password"="root",
'networklink'='networklink4hbase');

查询外部表mf_lindorm_test_t_ext数据。

set odps.sql.hive.compatible = true;
set odps.sql.hbase.version=lindorm;
select * from mf_lindorm_test_t_ext;

查询结果如下：

+------------+------------+----------+
| key        | col1       | col2     |
+------------+------------+----------+
| 1122       | hello      | hbase    |  
+------------+------------+----------+

向外部表mf_lindorm_test_t_ext插入数据。

执行INSERT OVERWRITE语句向已创建的外部表写入数据。

set odps.sql.hive.compatible = true;
set odps.sql.hbase.version=lindorm;
INSERT OVERWRITE TABLE mf_lindorm_test_t_ext SELECT '1123', 'lindorm', 'mftestinsert';

再次查询外部表mf_lindorm_test_t_ext数据。

set odps.sql.hive.compatible = true;
set odps.sql.hbase.version=lindorm;
select * from mf_lindorm_test_t_ext;

查询结果如下：

+------------+------------+-------------+
| key        | col1       | col2        |
+------------+------------+-------------+
| 1122       | hello      | hbase       | 
| 1123       | lindorm    | mftestinsert|   
+------------+------------+-------------+

使用scan语句查询Lindorm表mf_lindorm_test_t数据。
```
scan 'mf_lindorm_test_t';
```
查询结果如下：