管理Paimon Catalog

四种元数据存储类型都支持SQL命令方式，而仅filesystem和dlf支持UI方式。下文将为您介绍各个存储类型所需的配置参数说明。

• 创建Paimon Filesystem Catalog

• 创建Paimon DLF Catalog

• 创建Paimon MaxCompute Catalog

• 创建Paimon Sync Catalog

创建Paimon Filesystem Catalog

UI方式

1. 进入数据管理页面。

   1. 登录实时计算控制台，单击目标工作空间操作列下的控制台。

   2. 单击数据管理。

2. 单击创建Catalog，选择Apache Paimon，单击下一步。

3. 填写参数配置信息。

SQL方式

在数据查询文本编辑区域，输入以下命令。

CREATE CATALOG `my-catalog` WITH (
  'type' = 'paimon',
  'metastore' = 'filesystem',
  'warehouse' = '<warehouse>',
  'fs.oss.endpoint' = '<fs.oss.endpoint>',
  'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
  'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
);

配置项参数说明如下。

• 通用

  配置项	说明	是否必填	备注
  my-catalog	Paimon Catalog名称。	是	请填写为自定义的英文名。
  type	Catalog类型。	是	固定值为paimon。
  metastore	元数据存储类型。	是	参数取值如下： filesystem：配置为Paimon Filesystem Catalog类型时填写。 dlf：配置为Paimon DLF Catalog类型时填写。 maxcompute：配置为Paimon MaxCompute Catalog类型时填写。 sync：配置为Paimon Sync Catalog类型时填写。

• OSS

  配置项	说明	是否必填	备注
  warehouse	OSS服务中所指定的数仓目录。	是	格式为oss://<bucket>/<object>。其中： bucket：表示您创建的OSS Bucket名称。 object：表示您存放数据的路径。 请在OSS管理控制台上查看您的bucket和object名称。
  fs.oss.endpoint	OSS服务的连接地址。	是	如果Flink与DLF位于同一地域，则使用VPC网络Endpoint，否则使用公网Endpoint。 当warehouse指定的OSS Bucket与Flink工作空间不在同一地域，或使用其它账号下的OSS Bucket时需要填写。 获取方法请参见OSS地域和访问域名和创建AccessKey。
  fs.oss.accessKeyId	拥有读写OSS权限的阿里云账号或RAM账号的Accesskey ID。	是
  fs.oss.accessKeySecret	拥有读写OSS权限的阿里云账号或RAM账号的Accesskey secret。	是

创建Paimon DLF Catalog

创建Paimon MaxCompute Catalog

• 前提条件

  需要在对应的MaxCompute 项目中上传paimon插件。您可以通过以下任何一种方式上传：

  • 使用本地客户端（odpscmd）访问已创建的MaxCompute项目，并执行ADD JAR <path_to_paimon_maxcompute_connector.jar>;代码，将Paimon插件上传至MaxCompute项目中。

  • 使用DataWorks新建资源将Paimon插件上传至MaxCompute项目中，详情请参见创建并使用MaxCompute资源。

• SQL命令

  CREATE CATALOG `my-catalog` WITH (
    'type' = 'paimon',
    'metastore' = 'maxcompute',
    'warehouse' = '<warehouse>',
    'maxcompute.endpoint' = '<maxcompute.endpoint>',
    'maxcompute.project' = '<maxcompute.project>',
    'maxcompute.accessid' = '<maxcompute.accessid>',
    'maxcompute.accesskey' = '<maxcompute.accesskey>',
    'maxcompute.oss.endpoint' = '<maxcompute.oss.endpoint>',
    'fs.oss.endpoint' = '<fs.oss.endpoint>',
    'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
    'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
  );

  说明

  在Paimon MaxCompute Catalog中创建Paimon表时，会在MaxCompute项目中同步创建Paimon外表。在MaxCompute中查询Paimon外表时，需要先在MaxCompute执行如下SET语句后，再执行SELECT语句。详情请参见步骤四：通过MaxCompute读取Paimon外部表。

  SET odps.sql.common.table.planner.ext.hive.bridge = true;
  SET odps.sql.hive.compatible = true;

• 配置参数说明

  • 通用

    配置项	说明	是否必填	备注
    my-catalog	Paimon Catalog名称。	是	请填写为自定义的英文名。
    type	Catalog类型。	是	固定值为paimon。
    metastore	元数据存储类型。	是	参数取值如下： filesystem：配置为Paimon Filesystem Catalog类型时填写。 dlf：配置为Paimon DLF Catalog类型时填写。 maxcompute：配置为Paimon MaxCompute Catalog类型时填写。 sync：配置为Paimon Sync Catalog类型时填写。

  • OSS

    配置项	说明	是否必填	备注
    warehouse	OSS服务中所指定的数仓目录。	是	格式为oss://<bucket>/<object>。其中： bucket：表示您创建的OSS Bucket名称。 object：表示您存放数据的路径。 请在OSS管理控制台上查看您的bucket和object名称。
    fs.oss.endpoint	OSS服务的连接地址。	是	如果Flink与DLF位于同一地域，则使用VPC网络Endpoint，否则使用公网Endpoint。 当warehouse指定的OSS Bucket与Flink工作空间不在同一地域，或使用其它账号下的OSS Bucket时需要填写。 获取方法请参见OSS地域和访问域名和创建AccessKey。
    fs.oss.accessKeyId	拥有读写OSS权限的阿里云账号或RAM账号的Accesskey ID。	是
    fs.oss.accessKeySecret	拥有读写OSS权限的阿里云账号或RAM账号的Accesskey secret。	是

  • MaxCompute

    配置项	说明	是否必填	备注
    maxcompute.endpoint	MaxCompute服务的访问域名。	是	详情请参见Endpoint。
    maxcompute.project	需要操作的MaxCompute项目名称。	是	暂时不支持开启了Schema操作的MaxCompute项目。
    maxcompute.accessid	拥有MaxCompute权限的阿里云账号的AccessKey。	是	获取方法请参见创建AccessKey。
    maxcompute.accesskey	拥有MaxCompute权限的阿里云账号的AccessKey Secret。	是	获取方法请参见创建AccessKey。
    maxcompute.oss.endpoint	从MaxCompute访问OSS服务的访问域名。	否	如果不填写，则默认使用fs.oss.endpoint的值。详情请参见OSS地域和访问域名。 说明 由于OSS Bucket与MaxCompute项目处于同一地域，此处应填写内网endpoint。
    maxcompute.life-cycle	MaxCompute外表的生命周期。	否	单位是天。

创建Paimon Sync Catalog

CREATE CATALOG `my-catalog` WITH (
  'type' = 'paimon',
  'metastore' = 'sync',
  'source' = 'dlf',
  'target' = 'maxcompute',
  'warehouse' = '<warehouse>',
  'dlf.catalog.id' = '<dlf.catalog.id>',
  'dlf.catalog.accessKeyId' = '<dlf.catalog.accessKeyId>',
  'dlf.catalog.accessKeySecret' = '<dlf.catalog.accessKeySecret>',
  'dlf.catalog.endpoint' = '<dlf.catalog.endpoint>',
  'dlf.catalog.region' = '<dlf.catalog.region>',
  'maxcompute.endpoint' = '<maxcompute.endpoint>',
  'maxcompute.project' = '<maxcompute.project>',
  'maxcompute.accessid' = '<maxcompute.accessid>',
  'maxcompute.accesskey' = '<maxcompute.accesskey>',
  'maxcompute.oss.endpoint' = '<maxcompute.oss.endpoint>',
  'fs.oss.endpoint' = '<fs.oss.endpoint>',
  'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
  'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
);

配置项参数说明如下。

• 通用

  配置项	说明	是否必填	备注
  my-catalog	Paimon Catalog名称。	是	请填写为自定义的英文名。
  type	Catalog类型。	是	固定值为paimon。
  metastore	元数据存储类型。	是	参数取值如下： filesystem：配置为Paimon Filesystem Catalog类型时填写。 dlf：配置为Paimon DLF Catalog类型时填写。 maxcompute：配置为Paimon MaxCompute Catalog类型时填写。 sync：配置为Paimon Sync Catalog类型时填写。

• snyc独有

  配置项	说明	是否必填	备注
  source	元数据同步的来源。	是	此处填写为dlf。
  target	元数据同步的目标。	是	此处填写为maxcompute。

• OSS

  配置项	说明	是否必填	备注
  warehouse	OSS服务中所指定的数仓目录。	是	格式为oss://<bucket>/<object>。其中： bucket：表示您创建的OSS Bucket名称。 object：表示您存放数据的路径。 请在OSS管理控制台上查看您的bucket和object名称。
  fs.oss.endpoint	OSS服务的连接地址。	是	如果Flink与DLF位于同一地域，则使用VPC网络Endpoint，否则使用公网Endpoint。 当warehouse指定的OSS Bucket与Flink工作空间不在同一地域，或使用其它账号下的OSS Bucket时需要填写。 获取方法请参见OSS地域和访问域名和创建AccessKey。
  fs.oss.accessKeyId	拥有读写OSS权限的阿里云账号或RAM账号的Accesskey ID。	是
  fs.oss.accessKeySecret	拥有读写OSS权限的阿里云账号或RAM账号的Accesskey secret。	是

• DLF

  配置项	说明	是否必填	备注
  dlf.catalog.id	DLF数据目录ID。	是	请在数据湖构建控制台上查看数据目录对应的ID，具体操作请参见数据目录。
  dlf.catalog.accessKeyId	访问DLF服务所需的Access Key ID。	是	获取方法请参见创建AccessKey。
  dlf.catalog.accessKeySecret	访问DLF服务所需的Access Key Secret。	是	获取方法请参见创建AccessKey。
  dlf.catalog.endpoint	DLF服务的Endpoint。	是	详情请参见已开通的地域和访问域名。 说明 如果Flink与DLF位于同一地域，则使用VPC网络Endpoint，否则使用公网Endpoint。
  dlf.catalog.region	DLF所在区域。	是	详情请参见已开通的地域和访问域名。 说明 请和dlf.catalog.endpoint选择的地域保持一致。

• maxcompute

  配置项	说明	是否必填	备注
  maxcompute.endpoint	MaxCompute服务的访问域名。	是	详情请参见Endpoint。
  maxcompute.project	需要操作的MaxCompute项目名称。	是	暂时不支持开启了Schema操作的MaxCompute项目。
  maxcompute.accessid	拥有MaxCompute权限的阿里云账号的AccessKey。	是	获取方法请参见创建AccessKey。
  maxcompute.accesskey	拥有MaxCompute权限的阿里云账号的AccessKey Secret。	是	获取方法请参见创建AccessKey。
  maxcompute.oss.endpoint	从MaxCompute访问OSS服务的访问域名。	否	如果不填写，则默认使用fs.oss.endpoint的值。详情请参见OSS地域和访问域名。 说明 由于OSS Bucket与MaxCompute项目处于同一地域，此处应填写内网endpoint。
  maxcompute.life-cycle	MaxCompute外表的生命周期。	否	单位是天。

管理Paimon数据库

在数据查询文本编辑区域输入如下命令，选中代码后单击运行。

• 创建数据库

  创建Paimon Catalog后，Catalog中会自动创建名为default的数据库。

  --my-catalog需要替换为您创建的Paimon Catalog名称。
  USE CATALOG `my-catalog`;
  
  --my_db需要替换为自定义的database英文名称。
  CREATE DATABASE `my_db`;

• 删除数据库

  重要

  无法删除DLF、MaxCompute和Sync类型Catalog下的default数据库，允许删除Filesystem类型Catalog下的default数据库。

  --my-catalog需要替换为您创建的Paimon Catalog名称。
  USE CATALOG `my-catalog`;
  
  --my_db需要替换为您想要删除的数据库名称。
  DROP DATABASE `my_db`; --只需要删除内部没有任何表的数据库。
  DROP DATABASE `my_db` CASCADE; --删除数据库且同时删除数据库下的所有表。
  

查看或删除Paimon Catalog

1. 在实时计算控制台，单击目标工作空间操作列的控制台。

2. 在数据管理页面，查看或删除Paimon Catalog。

   • 查看：在Catalog列表页面，查看Catalog名称和类型。如果您需要查看Catalog下的数据库和表，请单击查看。

   • 删除：在Catalog列表页面，单击目标Catalog名称对应操作列的删除。

     说明

     删除Paimon Catalog只会删除Flink项目空间数据管理中的记录，不会影响Paimon表的数据文件。删除Catalog后，只需要重新执行创建Paimon Catalog，即可重新使用Catalog中的Paimon表。

     您也可以在数据查询文本编辑区域输入DROP CATALOG <catalog name>;，选中代码后单击运行。