管理Apache Paimon Catalog
Paimon Catalog 实现了 Flink 对 数据湖构建(DLF) 数据的直接访问。本文介绍 Catalog 的创建与管理,以及数据库与表的操作流程。
注意事项
-
引擎版本要求
-
基础功能:创建 Paimon Catalog 和表,需使用实时计算引擎 VVR 8.0.5 及以上版本。
-
DLF 集成:若将元数据存储类型设置为 DLF,需使用 VVR 11.1 及以上版本。
-
OSS-HDFS 支持:使用 OSS-HDFS 作为 Paimon Filesystem Catalog 的存储时,需使用 VVR 11.8 及以上版本。
-
-
OSS 存储配置
-
存储类型:Paimon 数据文件与元数据文件存储于 OSS。必须使用标准存储类型的 Bucket。详情请参见存储类型。
-
部署建议:建议创建一个位于同一地域的独立 Bucket。避免复用系统默认 Bucket,以防止数据混淆及误操作。
-
-
权限管理
metastore = filesystem和metastore = dlf(DLF-Legacy)需配置 AccessKey,且该 AccessKey 必须拥有目标 OSS Bucket 或 DLF 目录的读写权限。metastore = rest(DLF)无需配置 AccessKey。 -
格式兼容性
Paimon Catalog 专用于管理 Paimon 格式数据。它不支持访问 Lance、Iceberg 等其他数据湖格式的表。
-
元数据同步
通过 SQL 语句创建或删除 Catalog、数据库及表后,控制台视图可能不会立即变更。请点击页面上的刷新
按钮以获取最新元数据状态。
-
Paimon对应版本
Paimon社区版本
实时计算Flink版引擎版本(VVR )
2.0.0
11.9
1.3.1
11.5、11.6、11.7、11.8
1.3
11.4
1.2
11.2、11.3
1.1
11.1
1.0
8.0.11
创建Paimon DLF Catalog
-
在DLF上创建Paimon Catalog,详情请参见快速使用DLF。
-
DLF Catalog需要和Flink工作空间位于同一地域,否则无法在后续流程中完成关联。
-
-
在实时计算开发控制台上,创建Paimon Catalog。
说明这里仅用于建立与DLF Catalog的映射连接,创建或删除Catalog仅影响映射关系,不会对DLF中的实际数据产生影响。
-
登录实时计算控制台。
-
单击Flink全托管工作空间列表中的工作空间名称,进入对应的工作空间。
-
可以通过UI或者SQL方式来添加Catalog。
UI方式
-
在左侧导航栏,单击数据管理。
-
在Catalog列表页,单击创建Catalog。
-
选择Apache Paimon,单击下一步。
-
metastore 选择 dlf,catalog name 选择需要关联版本的DLF Catalog,单击确定,即可创建Catalog。
SQL命令
在数据查询文本编辑区域,输入以下SQL并执行,即可创建Catalog。
CREATE CATALOG `flink_catalog_name` WITH ( 'type' = 'paimon', 'metastore' = 'rest', 'token.provider' = 'dlf', 'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com', 'warehouse' = 'dlf_test' );参数说明如下:
参数
描述
是否必填
示例
type
Catalog类型,固定为paimon。
是
paimon
metastore
metastore类型,固定为rest。
是
rest
token.provider
Token提供方,固定为dlf。
是
dlf
uri
访问DLF Rest Catalog Server的URI,格式为
http://[region-id]-vpc.dlf.aliyuncs.com。详见地域与服务接入点中的Region ID。是
http://cn-hangzhou-vpc.dlf.aliyuncs.com
warehouse
DLF Catalog名称。
是
dlf_test
-
-
管理Paimon数据库
在数据查询文本编辑区域输入如下命令,选中代码后单击运行。
-
创建数据库
创建Paimon Catalog后,Catalog中会自动创建名为
default的数据库。--my-catalog需要替换为您创建的Paimon Catalog名称。 USE CATALOG `my-catalog`; --my_db需要替换为自定义的database英文名称。 CREATE DATABASE `my_db`; -
删除数据库
重要无法删除DLF类型Catalog下的default数据库,允许删除Filesystem类型Catalog下的default数据库。
--my-catalog需要替换为您创建的Paimon Catalog名称。 USE CATALOG `my-catalog`; --my_db需要替换为您想要删除的数据库名称。 DROP DATABASE `my_db`; --只需要删除内部没有任何表的数据库。 DROP DATABASE `my_db` CASCADE; --删除数据库且同时删除数据库下的所有表。
管理Paimon表
创建表
修改表结构
删除表
查看或删除Paimon Catalog
-
在实时计算管理控制台,单击目标工作空间操作列的控制台。
-
在数据管理页面,查看或删除Paimon Catalog。
-
查看:在Catalog列表页面,查看Catalog名称和类型。如果您需要查看Catalog下的数据库和表,请单击查看。
-
删除:在Catalog列表页面,单击目标Catalog名称对应操作列的删除。
说明删除Paimon Catalog只会删除Flink项目空间数据管理中的记录,不会影响Paimon表的数据文件。删除Catalog后,只需要重新执行创建Paimon Catalog,即可重新使用Catalog中的Paimon表。
您也可以在数据查询文本编辑区域输入
DROP CATALOG <catalog name>;,选中代码后单击运行。
-
相关文档
-
创建Paimon表后,您可以从Paimon表中消费数据或向Paimon表中写入数据,详情请参见Paimon表数据写入和消费。
-
如果内置的Catalog无法满足您的业务需求,您可以使用自定义Catalog,详情请参见管理自定义Catalog。
-
不同场景下Paimon主键表和Append Scalable表的常用优化,详情请参见Paimon性能优化。
