创建Paimon Catalog并管理数据库和表-数据湖 OpenLake-阿里云

配置Paimon Catalog后，您可以通过实时计算Flink版直接访问数据湖构建（Data Lake Formation）中的Paimon表。本文为您介绍如何在实时计算开发控制台创建、查看与删除Paimon Catalog，以及管理Paimon数据库和Paimon表。

注意事项

仅实时计算引擎VVR 8.0.5及以上版本支持创建和配置Paimon Catalog和Paimon表。其中，仅VVR 11.1.0及以上版本支持元数据存储类型设置为DLF。
OSS用于存储Paimon表的相关文件，包括数据文件与元数据文件等。请确保已开通阿里云对象存储OSS服务，且OSS Bucket的存储类型需要为标准存储，详情请参见控制台快速入门和存储类型。
重要
您也可以使用开通实时计算Flink版服务时指定的OSS Bucket，但为了更好地区分数据并防止误操作，建议您额外创建并使用位于同一地域的OSS Bucket。
创建Paimon Catalog填写的AccessKey必须对OSS Bucket和DLF目录有读写权限。
通过SQL方式创建或删除Catalog、Database和table后，您可以单击刷新按钮以更新元数据页面显示。
Paimon与VVR版本对应关系详情如下表所示。
Paimon社区版本
实时计算Flink版引擎版本（VVR ）
1.3
11.4
1.2
11.2、11.3
1.1
11.1
1.0
8.0.11
0.9
8.0.7、8.0.8、8.0.9、8.0.10
0.8
8.0.6
0.7
8.0.5
0.6
8.0.4
0.6
8.0.3

创建Paimon DLF Catalog

在DLF上创建Paimon Catalog，详情请参见快速使用DLF。
1. DLF Catalog需要和Flink工作空间位于同一地域，否则无法在后续流程中完成关联。

在实时计算开发控制台上，创建Paimon Catalog。

说明

这里仅用于建立与DLF Catalog的映射连接，创建或删除Catalog仅影响映射关系，不会对DLF中的实际数据产生影响。

登录实时计算控制台。
单击Flink全托管工作空间列表中的工作空间名称，进入对应的工作空间。

可以通过UI或者SQL方式来添加Catalog。

UI方式

在左侧导航栏，单击数据管理。
在Catalog列表页，单击创建Catalog。
选择Apache Paimon，单击下一步。
metastore 选择 dlf，catalog name 选择需要关联版本的DLF Catalog，单击确定，即可创建Catalog。

SQL命令

在数据查询文本编辑区域，输入以下SQL并执行，即可创建Catalog。

CREATE CATALOG `flink_catalog_name` 
WITH (
  'type' = 'paimon',
  'metastore' = 'rest',
  'token.provider' = 'dlf',
  'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
  'warehouse' = 'dlf_test'
);

参数说明如下：

参数	描述	是否必填	示例
type	Catalog类型，固定为paimon。	是	paimon
metastore	metastore类型，固定为rest。	是	rest
token.provider	Token提供方，固定为dlf。	是	dlf
uri	访问DLF Rest Catalog Server的URI，格式为`http://[region-id]-vpc.dlf.aliyuncs.com`。详见服务接入点中的Region ID。	是	http://cn-hangzhou-vpc.dlf.aliyuncs.com
warehouse	DLF Catalog名称。	是	dlf_test

管理Paimon数据库

在数据查询文本编辑区域输入如下命令，选中代码后单击运行。

创建数据库

创建Paimon Catalog后，Catalog中会自动创建名为default的数据库。

--my-catalog需要替换为您创建的Paimon Catalog名称。
USE CATALOG `my-catalog`;

--my_db需要替换为自定义的database英文名称。
CREATE DATABASE `my_db`;

删除数据库

重要

无法删除DLF类型Catalog下的default数据库，允许删除Filesystem类型Catalog下的default数据库。

--my-catalog需要替换为您创建的Paimon Catalog名称。
USE CATALOG `my-catalog`;

--my_db需要替换为您想要删除的数据库名称。
DROP DATABASE `my_db`; --只需要删除内部没有任何表的数据库。
DROP DATABASE `my_db` CASCADE; --删除数据库且同时删除数据库下的所有表。

管理Paimon表

创建表

说明

Paimon Catalog配置完成后，您就可以在作业中引用Paimon Catalog表信息，作为源表、结果表和维表时，无需声明表的DDL。在SQL命令方式中，您可以直接使用Paimon Catalog表名称的完整格式${Paimon-catalog-name}.${Paimon-db-name}.${Paimon-table-name}，也可以用use catalog ${Paimon-catalog-name}和use ${Paimon-db-name}语句先声明Catalog名称和数据库名称，后面的SQL里只写表名称${Paimon-table-name}即可。

通过CREATE TABLE语句创建表
在数据查询文本编辑区域输入如下命令后，选中代码后单击运行。
在名为my-catalog的Catalog下的my_db的数据库中，创建一张分区表，其中分区键为dt，主键为dt、shop_id和user_id，分桶数固定为4。代码示例如下。
```
--my-catalog需要替换为您创建的Paimon Catalog名称。
--my_db需要替换为您想要使用的database名称。
--my_tbl也可以改为自定义的英文名称。
CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
  dt STRING,
  shop_id BIGINT,
  user_id BIGINT,
  num_orders INT,
  total_amount INT,
  PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
) PARTITIONED BY (dt) WITH (
  'bucket' = '4'
);
```
关于Paimon表的更多参数与使用方式，详情请参见流式数据湖仓Paimon和Paimon主键表和Append Only表。
通过CREATE TABLE AS（CTAS）语句或CREATE DATABASE AS（CDAS）语句创建表
CTAS与CDAS语句不仅会自动同步数据，还会同步表结构的变更。通过CTAS与CDAS语句，您可以方便地将MySQL、Kafka等数据源中的表同步至Paimon Catalog中。
由于CTAS与CDAS语句涉及数据的同步，您需要部署并启动作业，具体操作请参见作业开发地图和作业启动。
说明
- 通过CTAS与CDAS语句创建的Paimon表时，暂不支持设置'bucket' = '-1'以使用动态分桶的Paimon主键表或Paimon Append Only表（非主键表）。
- CTAS与CDAS支持在WITH参数中设置物理表属性，在创建目标表时，同时在表上设置对应的属性。当作业启动时，这些参数将被应用到需要同步的下游表中。具体支持的表属性参数详情，请参见流式数据湖仓Paimon。
- 创建指定表并同步表中的数据
  例如，根据mysql.tpcds.web_sales表的结构，自动创建`my-catalog`.`my_db`.`web_sales`Paimon表，并同步表中的数据。另外指定Paimon表的分桶数为4，以及使用input变更数据产生机制。
```
CREATE TABLE IF NOT EXISTS `<catalog name>`.`<db name>`.`<table name>`
WITH (
  'bucket' = '4',
  'changelog-producer' = 'input'
) AS TABLE mysql.tpcds.web_sales;
```
- 创建整个数据库的表
  例如，根据mysql.tpcds数据库中每张表的结构，自动在`my-catalog`.`my_db`中创建对应的Paimon表，并同步表中的数据。另外指定Paimon表使用input变更数据产生机制。
```
CREATE DATABASE IF NOT EXISTS `<catalog name>`.`<db name>`
WITH (
  'changelog-producer' = 'input'
) AS DATABASE mysql.tpcds INCLUDING ALL TABLES;
```
- 同步列类型变更
  通过CTAS/CDAS语句创建的Paimon表不仅支持列的增加，还支持特定的列类型变更。您可以根据需要，选择是否使用字段类型宽容模式。
  - 默认情况下
    通过CTAS/CDAS语句创建的Paimon表的列类型与源表的列类型一致，并支持以下列类型变更：
    - 支持整数类型TINYINT、SMALLINT、INT、BIGINT变更为精度相同或更高的整数类型，其中TINYINT精度最低，BIGINT精度最高。
    - 支持浮点类型FLOAT、DOUBLE变更为精度相同或更高的浮点类型，其中FLOAT精度最低，DOUBLE精度最高。
    - 支持字符串类型CHAR、VARCHAR和STRING变更为精度相同或更高的字符串类型。
  - 使用字段类型宽容模式
    在CTAS与CDAS场景中，Paimon Catalog支持在WITH参数中设置'enableTypeNormalization' = 'true'后，将使用字段类型宽容模式。在上游发生数据类型修改事件时，只要所修改的类型与原类型的归一化类型相同，都视作修改成功。目前类型归一化规则如下：
    - TINYINT、SMALLINT、INT和BIGINT归一化为BIGINT。
    - FLOAT和DOUBLE归一化为DOUBLE。
    - CHAR、VARCHAR和STRING归一化为STRING。
    - 其他数据类型不进行归一化。
    例如：
    - SMALLINT修改为INT，两者的归一化类型都是BIGINT，视为修改成功，作业正常运行。
    - 从FLOAT改为BIGINT，两者的归一化类型分别为DOUBLE和BIGINT，属于不兼容的情况，会抛出异常。
    Paimon表中存储的数据类型将统一为归一化后的类型。例如，MySQL中类型分别为SMALLINT和INT的两列，在Paimon表中均存储为BIGINT类型。

修改表结构

在数据查询文本编辑区域输入如下命令，选中代码后单击运行。

操作	代码示例
添加或修改表参数	将表的`write-buffer-size`参数值修改为256 MB，并将`write-buffer-spillable`参数值修改为true。 `ALTER TABLE my_table SET ( 'write-buffer-size' = '256 MB', 'write-buffer-spillable' = 'true' );`
临时修改表参数	您可以通过在表名后添加SQL Hint的方式，在写入表时临时修改表参数。临时修改的表参数仅对当前SQL作业生效。在写入my_table表时，临时将`write-buffer-size`设为256 MB，将`write-buffer-spillable`设为true。 `INSERT INTO my_table /+ OPTIONS('write-buffer-size' = '256 MB', 'write-buffer-spillable' = 'true') / SELECT ...;` 在消费my_table表时，临时将`scan.mode`设为latest，将`scan.parallelism`设为10。 `SELECT * FROM t /+ OPTIONS('scan.mode' = 'latest', 'scan.parallelism' = '10') /;`
重命名表	将表的名称从my_table修改为my_table_new。 `ALTER TABLE my_table RENAME TO my_table_new;` 重要由于对象存储的重命名操作不具有原子性，因此如果您使用对象存储OSS保存Paimon表文件，请谨慎进行重命名表操作。推荐您使用OSS-HDFS服务以保证文件操作的原子性。
添加新列	将类型为INT的c1列和类型为STRING的c2列添加在my_table表的末尾。 `ALTER TABLE my_table ADD (c1 INT, c2 STRING);` 将类型为STRING的c2列添加在my_table表中c1的列后面。 `ALTER TABLE my_table ADD c2 STRING AFTER c1;` 将类型为INT的c1列添加在my_table表的开头。 `ALTER TABLE my_table ADD c1 INT FIRST;`
重命名列	将my_table表中名称为c0的列重命名为c1。 `ALTER TABLE my_table RENAME c0 TO c1;`
删除列	将my_table表中c1和c2两列删除。 `ALTER TABLE my_table DROP (c1, c2);`
删除分区	将my_table表中`dt=20240108,hh=06`与`dt=20240109,hh=07`两个分区删除。 ALTER TABLE my_table DROP PARTITION (`dt` = '20240108', `hh` = '08'), PARTITION (`dt` = '20240109', `hh` = '07');
修改列注释	将my_table表中buy_count列的注释改为this is buy count。 `ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'this is buy count';`
修改列顺序	将my_table表中名称为col_a，类型为DOUBLE的列移动到开头。 `ALTER TABLE my_table MODIFY col_a DOUBLE FIRST;` 将my_table表中名称为col_a，类型为DOUBLE的列移动到col_b列的后面。 `ALTER TABLE my_table MODIFY col_a DOUBLE AFTER col_b;`
修改列类型	将my_table表中的col_a列类型改为DOUBLE。 `ALTER TABLE my_table MODIFY col_a DOUBLE;` Paimon表支持的列类型修改情况请参见下表。下图中的〇表示支持类型转换，空单元格代表不支持类型转换。

删除表

在数据查询文本编辑区域输入如下命令，选中代码后单击运行。

--my-catalog需要替换为您创建的Paimon Catalog名称。
--my_db需要替换为您想要使用的database名称。
--my_tbl需要替换为您创建的Paimon Catalog表名称。
DROP TABLE `my-catalog`.`my_db`.`my_tbl`;

出现The following statement has been executed successfully!的提示信息说明Paimon表删除成功。

查看或删除Paimon Catalog

在实时计算管理控制台，单击目标工作空间操作列的控制台。
在数据管理页面，查看或删除Paimon Catalog。
- 查看：在Catalog列表页面，查看Catalog名称和类型。如果您需要查看Catalog下的数据库和表，请单击查看。
- 删除：在Catalog列表页面，单击目标Catalog名称对应操作列的删除。
  说明
  删除Paimon Catalog只会删除Flink项目空间数据管理中的记录，不会影响Paimon表的数据文件。删除Catalog后，只需要重新执行创建Paimon Catalog，即可重新使用Catalog中的Paimon表。
  您也可以在数据查询文本编辑区域输入DROP CATALOG <catalog name>;，选中代码后单击运行。

管理Paimon Catalog

注意事项

创建Paimon DLF Catalog

UI方式

SQL命令

管理Paimon数据库

管理Paimon表

创建表

修改表结构

删除表

查看或删除Paimon Catalog

相关文档

Paimon社区版本	实时计算Flink版引擎版本（VVR ）
1.3	11.4
1.2	11.2、11.3
1.1	11.1
1.0	8.0.11
0.9	8.0.7、8.0.8、8.0.9、8.0.10
0.8	8.0.6
0.7	8.0.5
0.6	8.0.4
0.6	8.0.3