JSON外部表_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

本文将详细介绍JSON格式的OSS外部表的创建、读取及写入方法。

前提条件

已具备访问OSS的权限。阿里云账号（主账号）、RAM用户或RAMRole身份可以访问OSS外部表，授权信息请参见OSS的STS模式授权。
（可选）已准备好OSS存储空间（Bucket）、OSS目录及OSS数据文件。具体操作请参见创建存储空间、管理目录和简单上传。
MaxCompute已支持在OSS侧自动创建目录，对于携带外部表及UDF的SQL语句，您可以通过一条SQL语句执行读写外部表及UDF的操作。原手动创建目录方式仍然支持。
已创建MaxCompute项目。具体操作请参见创建MaxCompute项目。
由于MaxCompute只在部分地域部署，跨地域的数据连通性可能存在问题，因此建议Bucket与MaxCompute项目所在地域保持一致。
已具备在MaxCompute项目中创建表（CreateTable）的权限。表操作的权限信息请参见MaxCompute权限。

使用限制

OSS外部表不支持cluster属性。
单个文件大小不能超过3 GB，如果文件过大，建议拆分。

数据类型支持

MaxCompute数据类型详情请参见1.0数据类型版本、2.0数据类型版本。

说明

已开通表示支持，未开通表示不支持。

数据类型	是否支持	数据类型	是否支持
TINYINT		STRING
SMALLINT		DATE
INT		DATETIME
BIGINT		TIMESTAMP
BINARY		TIMESTAMP_NTZ
FLOAT		BOOLEAN
DOUBLE		ARRAY
DECIMAL(precision,scale)		MAP
VARCHAR(n)		STRUCT
CHAR(n)		JSON

创建外部表

语法结构

CREATE EXTERNAL TABLE <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS textfile
LOCATION '<oss_location>';

参数说明

详情请参见基础语法参数说明。

写入数据

MaxCompute写入数据至OSS的语法，详情请参见将数据写入OSS。

查询分析

SELECT语法，详情请参见读取OSS数据。
优化查询计划，详情请参见查询优化。

使用示例

通过内置开源数据解析器创建JSON格式外部表并将数据写入OSS进行查询。

准备数据。
登录OSS控制台，上传测试数据json2025.txt至OSS Bucket指定目录external-table-test/json/dt=20250521/。具体操作请参见OSS文件上传。

创建JSON格式外部表。

CREATE EXTERNAL TABLE mc_oss_extable_name_json
(
  action STRING,
  time STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS textfile
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/external-table-test/json/';

-- 引入分区
MSCK REPAIR TABLE mc_oss_extable_name_json ADD PARTITIONS;

读取JSON外部表。

SELECT * FROM mc_oss_extable_name_json WHERE dt=20250526;

返回结果如下：

+------------+------------+------------+
| action     | time       | dt         |
+------------+------------+------------+
| Close      | 1469679568 | 20250526   |
| Close      | 1469679568 | 20250526   |
+------------+------------+------------+

写入JSON外部表。

INSERT INTO mc_oss_extable_name_json PARTITION (dt='20250526') VALUES ('test','1627273823');

查看写入数据。

SELECT * FROM mc_oss_extable_name_json WHERE dt=20250526;

返回结果如下：

+------------+------------+------------+
| action     | time       | dt         |
+------------+------------+------------+
| test       | 1627273823 | 20250526   |
| Close      | 1469679568 | 20250526   |
| Close      | 1469679568 | 20250526   |
+------------+------------+------------+