Paimon外部表

语法结构

各格式的外部表语法结构详情，请参见OSS外部表。

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

公共参数

公共参数说明请参见基础语法参数说明。

步骤一：前置准备

1. 已创建MaxCompute项目。

2. 已准备好OSS存储空间（Bucket）、OSS目录。具体操作请参见创建存储空间、管理目录。

   由于MaxCompute只在部分地域部署，跨地域的数据连通性可能存在问题，因此建议Bucket与MaxCompute项目所在地域保持一致。

3. 授权

   1. 具备访问OSS的权限。阿里云账号（主账号）、RAM用户或RAMRole身份可以访问OSS外部表，授权信息请参见OSS的STS模式授权。

   2. 已具备在MaxCompute项目中创建表（CreateTable）的权限。表操作的权限信息请参见MaxCompute权限。

步骤二：在Flink中准备数据

创建Paimon Catalog和Paimon表，并在表中插入数据，示例如下。

1. 创建Paimon Filesystem Catalog

   1. 登录Flink控制台，在左上角选择地域。

   2. 单击目标工作空间名称，然后在左侧导航栏，选择数据管理。

   3. 在右侧Catalog列表 界面，单击创建Catalog 。在弹出的创建 Catalog 对话框里，选择Apache Paimon，单击下一步 并配置如下参数：

      参数	是否必填	说明
      metastore	必填	元数据存储类型。本示例中选择filesystem。
      catalog name	必填	自定义catalog名称，例如paimon-catalog。
      warehouse	必填	OSS服务中所指定的数仓目录。本示例中oss://paimon-fs/paimon-test/。
      fs.oss.endpoint	必填	OSS服务的endpoint，例如杭州地域为oss-cn-hangzhou-internal.aliyuncs.com。
      fs.oss.accessKeyId	必填	访问OSS服务所需的Access Key ID。
      fs.oss.accessKeySecret	必填	访问OSS服务所需的Access Key Secret。

2. 创建Paimon表

   1. 登录Flink控制台，在左上角选择地域。

   2. 单击目标工作空间名称，然后在左侧导航栏，选择数据开发 > 数据查询。

   3. 在查询脚本页签，单击，新建查询脚本。

      输入如下命令后，单击运行。

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. 若SQL作业有限流作业（例如执行INSERT INTO ... VALUES ...语句），需要执行以下操作：

   1. 单击目标工作空间名称，然后在左侧导航栏，选择运维中心 > 作业运维。

   2. 在作业运维页面，单击目标作业名称，进入作业部署详情页面。

   3. 在运行参数配置区域，单击编辑，在其他配置中设置execution.checkpointing.checkpoints-after-tasks-finish.enabled: true代码并保存。

      配置作业的运行参数详情，请参见配置作业部署信息。

步骤三：通过MaxCompute创建Paimon外表

在MaxCompute中执行以下SQL代码，创建MaxCompute Paimon外部表。

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

上述代码中table_path为Flink中创建的Paimon表路径，例如paimon-fs/paimon-test/default.db/test_tbl。获取方法如下：

1. 登录Flink控制台，在左上角选择地域。

2. 单击目标工作空间名称，然后在左侧导航栏，选择数据管理。

3. 在元数据页面单击目标Catalog下的default，并在default页面中单击目标表操作列的查看。

4. 在表结构详情页签的表属性区域获取path参数值，table_path中仅填写oss://之后的路径。

步骤四：引入分区数据

当创建的OSS外部表为分区表时，需要额外执行引入分区数据的操作，详情请参见补全OSS外部表分区数据语法。

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

步骤五：通过MaxCompute读取Paimon外部表

在MaxCompute中执行以下命令，查询MaxCompute Paimon外部表oss_extable_paimon_pt。

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

返回结果如下：

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

读Paimon外部表报错kSIGABRT

• 报错信息：

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• 错误原因：

  JNI模式下读取TIMESTAMP_NTZ类型会产生此报错。

• 解决方案：

  读表前加上打开Native开关SET odps.sql.common.table.jni.disable.native=true;。