Parquet外部表

前提条件

• 已具备访问OSS的权限。阿里云账号（主账号）、RAM用户或RAMRole身份可以访问OSS外部表，授权信息请参见OSS的STS模式授权。

• （可选）已准备好OSS存储空间（Bucket）、OSS目录及OSS数据文件。具体操作请参见创建存储空间、管理目录和简单上传。

  MaxCompute已支持在OSS侧自动创建目录，对于携带外部表及UDF的SQL语句，您可以通过一条SQL语句执行读写外部表及UDF的操作。原手动创建目录方式仍然支持。

• 已创建MaxCompute项目。具体操作请参见创建MaxCompute项目。

  由于MaxCompute只在部分地域部署，跨地域的数据连通性可能存在问题，因此建议Bucket与MaxCompute项目所在地域保持一致。

• 已具备在MaxCompute项目中创建表（CreateTable）的权限。表操作的权限信息请参见MaxCompute权限。

使用限制

• OSS外部表不支持cluster属性。

• 单个文件大小不能超过3 GB，如果文件过大，建议拆分。

数据类型支持

• MaxCompute数据类型请参见1.0数据类型版本和2.0数据类型版本。

• JNI模式：set odps.ext.parquet.native=false，表示读外部表解析Parquet数据文件时，使用原有基于Java的开源社区实现，支持读和写。

• Native模式：set odps.ext.parquet.native=true，表示读外部表解析Parquet数据文件时，使用新的基于C++的Native实现，仅支持读。

  数据类型	是否支持JNI模式（读写）	是否支持Native模式（只读）
  TINYINT
  SMALLINT
  INT
  BIGINT
  BINARY
  FLOAT
  DOUBLE
  DECIMAL(precision,scale)
  VARCHAR(n)
  CHAR(n)
  STRING
  DATE
  DATETIME
  TIMESTAMP
  TIMESTAMP_NTZ
  BOOLEAN
  ARRAY
  MAP
  STRUCT
  JSON

压缩格式支持

当您需要读写压缩属性的OSS文件时，需要在建表语句中添加with serdeproperties属性配置，详情请参见with serdeproperties属性参数。

支持读写的数据文件格式：以ZSTD、SNAPPY、GZIP方式压缩的Parquet。

创建外部表

写入数据

MaxCompute写入语法详情，请参见写入语法说明。

查询分析

• SELECT语法详情，请参见查询语法说明。

• 优化查询计划详情，请参见查询优化。

• 若需要直读LOCATION文件，请参见特色功能：Schemaless Query。

场景示例

本示例将创建以ZSTD压缩的Parquet格式外表，并进行读取和写入操作。

1. 准备ZSTD格式数据文件。

   在示例数据的oss-mc-testBucket中创建parquet_zstd_jni/dt=20230418目录层级，并将Parquet文件存放在分区目录dt=20230418下。

2. 创建ZSTD压缩格式的Parquet外表。

   CREATE EXTERNAL TABLE IF NOT EXISTS mc_oss_parquet_data_type_zstd (
       vehicleId INT,
       recordId INT,
       patientId INT,
       calls INT,
       locationLatitute DOUBLE,
       locationLongtitue DOUBLE,
       recordTime STRING,
       direction STRING
   )
   PARTITIONED BY (dt STRING )
   ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
   WITH serdeproperties(
     'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
     'mcfed.parquet.compression'='zstd'
   )
   STORED AS parquet
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/parquet_zstd_jni/';
   
   -- 引入分区数据
   MSCK REPAIR TABLE mc_oss_parquet_data_type_zstd ADD PARTITIONS;

3. 读取Parquet外表数据。

   SELECT * FROM mc_oss_parquet_data_type_zstd WHERE dt='20230418' LIMIT 10;

   部分返回结果如下：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongtitue | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20230418   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20230418   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20230418   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20230418   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20230418   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20230418   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20230418   |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20230418   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20230418   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20230418   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20230418   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

4. 写入数据至Parquet外表。

   INSERT INTO mc_oss_parquet_data_type_zstd PARTITION ( dt = '20230418') 
     VALUES  (1,16,76,1,46.81006,-92.08174,'9/14/2014 0:10','SW');
   
   -- 查询新写入的数据
   SELECT * FROM mc_oss_parquet_data_type_zstd WHERE ds = '20230606' AND recordId=16;

   返回结果如下：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongtitue | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20230418   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

常见问题