通过外表导入至湖仓版

进入SQL编辑器。

创建外部数据库。示例如下：

CREATE EXTERNAL DATABASE adb_external_demo;

创建外表。本文示例为test。

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.test (
    id int,
    name varchar(1023),
    age int,
    dt string
    ) ENGINE='ODPS'
TABLE_PROPERTIES='{
"accessid":"LTAILd4****",
"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
"accesskey":"4A5Q7ZVzcYnWMQPysX****",
"partition_column":"dt",
"project_name":"test_adb",
"table_name":"person",
"odps_quota_name":ot_42854300324284****,
"odps_compression_code":ZSTD
}';

外表的参数说明，请参见CREATE EXTERNAL TABLE。

查询数据。

/*storage_api_enabled=true,odps_quota_name=ot_42854300324284****,odps_compression_code=ZSTD*/
SELECT * FROM adb_external_demo.test;

Hint参数说明：

返回结果如下：

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

导入数据。

1. 在AnalyticDB for MySQL中创建数据库，示例如下：

CREATE DATABASE adb_demo; 

2. 在AnalyticDB for MySQL中创建表用于存储从MaxCompute中导入的数据，示例如下：

说明

新表和步骤3中创建的外表的字段顺序和字段数量需要一致，字段类型兼容。

CREATE TABLE IF NOT EXISTS adb_demo.import_test(
    id int,
    name string,
    age int,
    dt string
    PRIMARY KEY(id,dt)
)
DISTRIBUTE BY HASH(id)  
PARTITION BY VALUE('dt'); 

3. 向表中写入数据，示例如下：

• 方式一：执行INSERT INTO导入数据，当主键重复时会自动忽略当前写入数据，不做更新，作用等同于INSERT IGNORE INTO，详情请参见INSERT INTO。示例如下：

/*storage_api_enabled=true,odps_quota_name=ot_42854300324284****,odps_compression_code=ZSTD*/
INSERT INTO adb_demo.import_test SELECT * FROM adb_external_demo.test;

如果需要将特定分区的数据导入adb_external_demo.test，可以执行：

/*storage_api_enabled=true,odps_quota_name=ot_42854300324284****,odps_compression_code=ZSTD*/
INSERT INTO  adb_demo.import_test SELECT * FROM adb_external_demo.test WHERE dt = '202207'; 

• 方式二：执行INSERT OVERWRITE INTO导入数据，会覆盖表中原有的数据。示例如下：

/*storage_api_enabled=true,odps_quota_name=ot_42854300324284****,odps_compression_code=ZSTD*/
INSERT OVERWRITE INTO adb_demo.import_test SELECT * FROM adb_external_demo.test;

• 方式三：异步执行INSERT OVERWRITE INTO导入数据。通常使用SUBMIT JOB提交异步任务，由后台调度，可以在写入任务前增加Hint（/* direct_batch_load=true*/）加速写入任务。详情请参见异步写入。示例如下：

/*storage_api_enabled=true,odps_quota_name=ot_42854300324284****,odps_compression_code=ZSTD*/
SUBMIT job INSERT OVERWRITE INTO adb_demo.import_test SELECT * FROM adb_external_demo.test;

返回结果如下：

+---------------------------------------+
| job_id                                |
+---------------------------------------+
| 2020112122202917203100908203303****** |
+---------------------------------------+

• 关于异步提交任务详情，请参见异步提交导入任务。

Hint参数说明，请参见Hint参数说明。

（可选）查看是否已使用Storage API方式访问MaxCompute数据。具体操作，请参见资源观测。

在表访问热度（并发数）和访问来源IP（B/S）指标区域，将使用方式选择为Storage API读或Storage API写，若指标区域有数据，则说明使用了Storage API方式访问MaxCompute数据；若无，则说明未使用Storage API方式，而默认使用了Tunnel方式访问MaxCompute数据。

进入SQL编辑器。

创建数据库。如果有已创建的数据库，可以忽略本步骤。示例如下：

CREATE DATABASE adb_demo1; 

创建外表。

CREATE TABLE IF NOT EXISTS test_adb
(
    id int,
    name string,
    age int,
    dt string
)
 ENGINE='ODPS'
 TABLE_PROPERTIES='{
 "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api",
 "accessid":"LTAILd4****",
 "accesskey":"4A5Q7ZVzcYnWMQPysX****",
 "partition_column":"dt",
 "project_name":"test_adb",
 "table_name":"person",
 "odps_quota_name":ot_42854300324284****,
 "odps_compression_code":ZSTD
 }';                 

外表支持设置的参数及参数说明，请参见参数说明。

查询数据。

/*storage_api_enabled=true,odps_quota_name=ot_42854300324284****,odps_compression_code=ZSTD*/
SELECT * FROM adb_demo1.test_adb;

Hint参数说明，请参见Hint参数说明。

返回结果如下：

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+
4 rows in set (0.35 sec)

在AnalyticDB MySQL中创建表用于存储从MaxCompute中导入的数据。示例如下：

CREATE TABLE IF NOT EXISTS adb_import_test
(   id int,
    name string,
    age int,
    dt string,
    PRIMARY KEY(id,dt)
)
DISTRIBUTE BY HASH(id)
PARTITION BY VALUE('dt') LIFECYCLE 30;  

导入数据。

Hint参数说明：

• Storage API Hint参数说明，请参见Hint参数说明。

• 弹性导入Hint参数说明如下：

  • elastic_load：是否使用弹性导入方式。取值：true或false（默认值）。

  • elastic_load_configs：弹性导入方式支持配置的参数。参数需使用方括号（[ ]）括起来，且多个参数之间以竖线（|）分隔，支持配置的参数如下表所示：

    参数	是否必填	说明
    adb.load.resource.group.name	是	执行弹性导入任务的Job资源组名称。
    adb.load.job.max.acu	否	单个弹性导入任务最多使用的资源。单位为ACU，最小值为5 ACU。默认值为集群Shard个数+1。 执行如下语句可查询集群Shard个数： SELECT count(1) FROM information_schema.kepler_meta_shards;
    spark.driver.resourceSpec	否	Spark driver的资源规格。默认值为small。取值范围，请参见Spark资源规格列表的型号列。
    spark.executor.resourceSpec	否	Spark executor的资源规格。默认值为large。取值范围，请参见Spark资源规格列表的型号列。
    spark.adb.executorDiskSize	否	Spark executor的磁盘容量，取值范围为(0,100]，单位为GiB，默认值为10 Gi。更多信息，请参见指定Driver和Executor资源。

（可选）查看已提交的导入任务是否为弹性导入任务。

SELECT job_name, (job_type = 3) AS is_elastic_load FROM INFORMATION_SCHEMA.kepler_meta_async_jobs WHERE job_name = "2023081818010602101701907303151******";

返回结果如下：

+---------------------------------------+------------------+
| job_name                              | is_elastic_load  |
+---------------------------------------+------------------+
| 2023081517195203101701907203151****** |       1          |
+---------------------------------------+------------------+

is_elastic_load的返回值为1，表示已提交的导入任务是弹性导入任务；若为0，则表示已提交的导入任务是常规导入任务。

（可选）查看是否已使用Storage API方式访问MaxCompute数据。具体操作，请参见资源观测。

在表访问热度（并发数）和访问来源IP（B/S）指标区域，将使用方式选择为Storage API读或Storage API写，若指标区域有数据，则说明使用了Storage API方式访问MaxCompute数据；若无，则说明未使用Storage API方式，而默认使用了Tunnel方式访问MaxCompute数据。