使用UNLOAD命令

示例数据

表sale_detail的数据如下：

+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

登录OSS管理控制台，创建OSS Bucket目录oss-unload-test/data_location/，示例地域为oss-cn-hangzhou。创建完成后如下图所示：

OSS路径如下：oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-unload-test/data_location。

登录MaxCompute客户端，执行UNLOAD命令，将sale_detail表的数据导出至OSS。

1. 示例1：将sale_detail表中的数据导出为CSV格式并压缩为GZIP。命令如下：

   -- 控制导出文件个数：设置单个Worker读取MaxCompute表数据的大小，单位为MB。
   -- 由于MaxCompute表有压缩，导出到OSS的数据一般会膨胀4倍左右。
   SET odps.stage.mapper.split.size=256;
   
   -- 导出数据
   UNLOAD FROM  
   (SELECT * FROM sale_detail)
   INTO
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-unload-test/data_location'
   STORED BY 'com.aliyun.odps.CsvStorageHandler'
   WITH SERDEPROPERTIES (
     'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 
     'odps.text.option.gzip.output.enabled'='true');                     

   其中，UNLOAD FROM (SELECT * FROM sale_detail)等效于UNLOAD FROM sale_detail。

2. 示例2：将sale_detail表中分区为sale_date='2013'，region='china'的数据导出为TSV格式并压缩为GZIP。命令如下：

   -- 控制导出文件个数：设置单个Worker读取MaxCompute表数据的大小，单位为MB。
   -- 由于MaxCompute表有压缩，导出到OSS的数据一般会膨胀4倍左右。
   SET odps.stage.mapper.split.size=256;
   
   -- 导出数据。
   UNLOAD FROM sale_detail PARTITION (sale_date='2013',region='china')
   INTO
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-unload-test/data_location'
   STORED BY 'com.aliyun.odps.TsvStorageHandler'
   WITH SERDEPROPERTIES (
     'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 
     'odps.text.option.gzip.output.enabled'='true');

两个示例中出现的参数'odps.text.option.gzip.output.enabled'='true'用于指定导出文件为GZIP压缩格式，当前仅支持GZIP压缩格式。更多参数信息，请参见OSS外部表。

示例数据

表data_test的数据如下：

+------------+----------+
| id         | name     |
+------------+----------+
| 3          | rgege    |
| 4          | Gegegegr |
+------------+----------+

在Hologres创建数据接收表mc_2_holo（所在数据库名称为test）。

可以在HoloWeb的SQL编辑器中执行建表语句，详情请参见连接HoloWeb并执行查询。建表语句如下：

CREATE TABLE mc_2_holo (id INT, name TEXT);

数据接收表的字段类型需与MaxCompute表字段类型对应，详情请参见MaxCompute与Hologres的数据类型映射。

登录MaxCompute客户端，执行UNLOAD命令，将data_test表的数据导出至Hologres。命令示例如下：

UNLOAD FROM  
(SELECT * FROM data_test) 
INTO 
LOCATION 'jdbc:postgresql://hgprecn-cn-5y**********-cn-hangzhou-internal.hologres.aliyuncs.com:80/test?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=mc_2_holo/'  
STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
WITH SERDEPROPERTIES ( 
  'odps.properties.rolearn'='acs:ram::13**************:role/aliyunodpsholorole',
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo'
);

在Hologres中查询导出数据：

SELECT * FROM mc_2_holo;

返回结果示例如下：

id	name
4	Gegegegr
3	rgege