通过外表导入Tablestore数据至湖仓版

示例数据说明

操作步骤

1. 进入SQL编辑器。
   1. 登录云原生数据仓库AnalyticDB MySQL控制台。
   2. 在页面左上角，选择集群所在地域。
   3. 在左侧导航栏，单击集群列表。
   4. 在湖仓版（3.0）页签下，单击目标集群ID。
   5. 在左侧导航栏，单击作业编辑器 > SQL开发。
2. 创建外部数据库。
   以创建adb_external_db数据库为例，建库示例语句如下：

   create external database adb_external_db;

3. 创建外表。
   说明 AnalyticDB MySQL外表和TableStore中表的字段名称、字段数量、字段顺序一致，字段类型兼容。数据类型映射关系，请参见数据类型映射关系。

   在adb_external_db数据库中，创建person表，建表示例语句如下：

   CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.person (
       id int,
       name string,
       age int
   ) ENGINE = 'OTS'  
   TABLE_PROPERTIES = '{
   "mapped_name":"person",
   "location":"https://w0****la.cn-hangzhou.vpc.tablestore.aliyuncs.com"
   }'

   参数	说明
   ENGINE='OTS’	外表的存储引擎。读写Tablestore数据时，取值为OTS。
   mapped_name	Tablestore实例中的表名称。查看Tablestore实例的表名称，登录表格存储控制台，在实例管理页面查看。
   location	Tablestore实例的VPC访问地址。查看Tablestore实例的VPC访问地址，登录表格存储控制台，在实例管理页面查看。

4. 外表创建成功后，AnalyticDB MySQL自动将Tablestore的表数据映射到AnalyticDB MySQL表。您可以在AnalyticDB MySQL中通过SELECT查询Tablestore中person表的数据。

   select * from adb_external_db.person;

   返回结果如下：

   +------+-------+------+
   | id   | name  | age  |
   +------+-------+------+
   |    1 | james |   10 |
   |    2 | bond  |   20 |
   |    3 | jack  |   30 |
   |    4 | lucy  |   40 |
   +------+-------+------+
   4 rows in set (0.35 sec)

5. 如果需要导入Tablestore数据到AnalyticDB MySQL，可查看接下来的步骤。
   1. 在AnalyticDB MySQL中创建数据库，示例如下：

      CREATE DATABASE adb_demo; 

   2. 在AnalyticDB MySQL中创建表用于存储从Tablestore中导入的数据，示例如下：
      说明 新表和步骤3中创建的外表的字段顺序和字段数量需要一致，字段类型兼容。

      CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(
          id int,
          name string,
          age int
      )
      DISTRIBUTE BY HASH(id);                   

   3. 向表中写入数据，示例如下：
      • 方式一：执行INSERT INTO导入数据，当主键重复时会自动忽略当前写入数据，不做更新，作用等同于INSERT IGNORE INTO，详情请参见INSERT INTO。示例如下：

        INSERT INTO adb_demo.adb_import_test
        SELECT * FROM adb_external_db.person;

        通过SELECT查询写入表中的数据，示例如下：

        select * from adb_demo.adb_import_test;

        返回结果如下：

        +------+-------+------+
        | id   | name  | age  |
        +------+-------+------+
        |    1 | james |   10 |
        |    2 | bond  |   20 |
        |    3 | jack  |   30 |
        |    4 | lucy  |   40 |
        +------+-------+------+

      • 方式二：执行INSERT OVERWRITE INTO导入数据，会覆盖表中原有的数据。示例如下：

        INSERT OVERWRITE INTO adb_demo.adb_import_test
        SELECT * FROM adb_external_db.person;

      • 方式三：异步执行INSERT OVERWRITE INTO导入数据。通常使用SUBMIT JOB提交异步任务，由后台调度，可以在写入任务前增加Hint（/* direct_batch_load=true*/）加速写入任务。详情请参见异步写入。示例如下：

        SUBMIT job 
        INSERT OVERWRITE INTO adb_demo.adb_import_test
        SELECT * FROM adb_external_db.person;

        返回结果如下：

        +---------------------------------------+
        | job_id                                |
        +---------------------------------------+
        | 2020112122202917203100908203303****** |

        关于异步提交任务详情，请参见异步提交导入导出任务。

数据类型映射关系