Lindorm外部表（云原生多模数据库）

背景信息

Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理，并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口，是阿里巴巴核心业务提供支撑的数据库之一。更多Lindorm信息请参见Lindorm产品概述。

前提条件

使用限制

• 由于只有华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）、华南1（深圳）、中国香港、华东 2 金融云（可用区F）、日本（东京）、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、德国（法兰克福）、美国（硅谷）、美国（弗吉尼亚）地域开通了专线直连访问VPC方案，仅以上地域可以创建Lindorm外部表，其他地域暂不支持。

• 网络打通时，MaxCompute侧仅打通到所填VPC ID的网络连接，如需跨Region访问或者访问该Region的其他VPC，请根据云上VPC现有打通方案，打通专线直连方案所填写的VPC和其他VPC之间的网络。

• Lindorm外部表不支持cluster属性。

注意事项

读取Lindorm源表数据时，如果源表中的列数小于外表DDL中的列数，系统会将缺少的列值补充为NULL。反之（大于时），会丢弃超出的列数据。

创建Lindorm外部表语法

--打开Hive兼容模式。
SET odps.sql.hive.compatible = true;
--配置odps.sql.hbase.version参数，切换HBase版本为lindorm。
SET odps.sql.hbase.version=lindorm;
--创建Lindorm外部表。
CREATE EXTERNAL TABLE if NOT EXISTS <mc_lindorm_external>
(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
--处理Lindorm数据源的Handler。
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES(
  'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>')
  TBLPROPERTIES(
    --hbase.table.name和mcfed.hbase.zookeeper.quorum必须配置。
    'hbase.table.name'='<namespace:lindorm_table_name>',
    'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>',
    --配置hbase.client.username和hbase.client.password参数。
    'hbase.client.username'='****','hbase.client.password'='****',
    --hbase.zookeeper.property.clientPort、mcfed.zookeeper.session.timeout和hbase.client.retries.number为可选参数。
    --hbase.zookeeper.property.clientPort的默认值为30020。
    ['hbase.zookeeper.property.clientPort'='{30020}',]
    ['mcfed.zookeeper.session.timeout'='<value>',]
    ['hbase.client.retries.number'='<value>',]
    'networklink'='<networklink_name>'
);

使用示例

1. 使用Lindorm Shell创建Lindorm表并插入数据。

   1. 创建mf_lindorm_test_t表。

      CREATE 'mf_lindorm_test_t','f';

   2. 向表mf_lindorm_test_t插入数据。

      put 'mf_lindorm_test_t', '1122', 'f:col1', 'hello';
      put 'mf_lindorm_test_t', '1122', 'f:col2', 'hbase';

   3. 查询表mf_lindorm_test_t数据。

      scan 'mf_lindorm_test_t';

      查询结果如下图所示：

2. 创建MaxCompute外部表并映射Lindorm数据源。

   1. 配置环境信息并创建MaxCompute的Lindorm外部表mf_lindorm_test_t_ext。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      CREATE EXTERNAL TABLE mf_lindorm_test_t_ext
      (
      key  int,
      col1 string,
      col2 string
      )
      STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
      WITH SERDEPROPERTIES (
        'hbase.columns.mapping'=':key,f:col1,f:col2')
        TBLPROPERTIES (
          'hbase.table.name'='mf_lindorm_test_t',
          'hbase.zookeeper.quorum'='ld-2z****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
          'hbase.client.username'='root',
          'hbase.client.password'='root',
          'networklink'='networklink4hbase');

   2. 查询外部表mf_lindorm_test_t_ext数据。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      select * from mf_lindorm_test_t_ext;

      查询结果如下：

      +------------+------------+----------+
      | key        | col1       | col2     |
      +------------+------------+----------+
      | 1122       | hello      | hbase    |  
      +------------+------------+----------+

   3. 向外部表mf_lindorm_test_t_ext插入数据。

      执行INSERT OVERWRITE语句向已创建的外部表写入数据。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      INSERT OVERWRITE TABLE mf_lindorm_test_t_ext SELECT '1123', 'lindorm', 'mftestinsert';

   4. 再次查询外部表mf_lindorm_test_t_ext数据。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      select * from mf_lindorm_test_t_ext;

      查询结果如下：

      +------------+------------+-------------+
      | key        | col1       | col2        |
      +------------+------------+-------------+
      | 1122       | hello      | hbase       | 
      | 1123       | lindorm    | mftestinsert|   
      +------------+------------+-------------+

   5. 使用scan语句查询Lindorm表mf_lindorm_test_t数据。

      scan 'mf_lindorm_test_t';

      查询结果如下：