管理Paimon Catalog

• 通过CREATE TABLE语句创建表

  在数据查询文本编辑区域输入如下命令后，选中代码后单击运行。

  在名为my-catalog的Catalog下的my_db的数据库中，创建一张分区表，其中分区键为dt，主键为dt、shop_id和user_id，分桶数固定为4。代码示例如下。

  --my-catalog需要替换为您创建的Paimon Catalog名称。
  --my_db需要替换为您想要使用的database名称。
  --my_tbl也可以改为自定义的英文名称。
  CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
    dt STRING,
    shop_id BIGINT,
    user_id BIGINT,
    num_orders INT,
    total_amount INT,
    PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
  ) PARTITIONED BY (dt) WITH (
    'bucket' = '4'
  );

  关于Paimon表的更多参数与使用方式，详情请参见流式数据湖仓Paimon和Paimon主键表和Append Only表。

• 通过CREATE TABLE AS（CTAS）语句或CREATE DATABASE AS（CDAS）语句创建表

  CTAS与CDAS语句不仅会自动同步数据，还会同步表结构的变更。通过CTAS与CDAS语句，您可以方便地将MySQL、Kafka等数据源中的表同步至Paimon Catalog中。

  由于CTAS与CDAS语句涉及数据的同步，您需要部署并启动作业，具体操作请参见作业开发地图和作业启动。

  说明

  • 通过CTAS与CDAS语句创建的Paimon表时，暂不支持设置'bucket' = '-1'以使用动态分桶的Paimon主键表或Paimon Append Only表（非主键表）。

  • CTAS与CDAS支持在WITH参数中设置物理表属性，在创建目标表时，同时在表上设置对应的属性。当作业启动时，这些参数将被应用到需要同步的下游表中。具体支持的表属性参数详情，请参见流式数据湖仓Paimon。

  • 创建指定表并同步表中的数据

    例如，根据mysql.tpcds.web_sales表的结构，自动创建`my-catalog`.`my_db`.`web_sales`Paimon表，并同步表中的数据。另外指定Paimon表的分桶数为4，以及使用input变更数据产生机制。

    CREATE TABLE IF NOT EXISTS `<catalog name>`.`<db name>`.`<table name>`
    WITH (
      'bucket' = '4',
      'changelog-producer' = 'input'
    ) AS TABLE mysql.tpcds.web_sales;

  • 创建整个数据库的表

    例如，根据mysql.tpcds数据库中每张表的结构，自动在`my-catalog`.`my_db`中创建对应的Paimon表，并同步表中的数据。另外指定Paimon表使用input变更数据产生机制。

    CREATE DATABASE IF NOT EXISTS `<catalog name>`.`<db name>`
    WITH (
      'changelog-producer' = 'input'
    ) AS DATABASE mysql.tpcds INCLUDING ALL TABLES;

  • 同步列类型变更

    通过CTAS/CDAS语句创建的Paimon表不仅支持列的增加，还支持特定的列类型变更。您可以根据需要，选择是否使用字段类型宽容模式。

    • 默认情况下

      通过CTAS/CDAS语句创建的Paimon表的列类型与源表的列类型一致，并支持以下列类型变更：

      • 支持整数类型TINYINT、SMALLINT、INT、BIGINT变更为精度相同或更高的整数类型，其中TINYINT精度最低，BIGINT精度最高。

      • 支持浮点类型FLOAT、DOUBLE变更为精度相同或更高的浮点类型，其中FLOAT精度最低，DOUBLE精度最高。

      • 支持字符串类型CHAR、VARCHAR和STRING变更为精度相同或更高的字符串类型。

    • 使用字段类型宽容模式

      在CTAS与CDAS场景中，Paimon Catalog支持在WITH参数中设置'enableTypeNormalization' = 'true'后，将使用字段类型宽容模式。在上游发生数据类型修改事件时，只要所修改的类型与原类型的归一化类型相同，都视作修改成功。目前类型归一化规则如下：

      • TINYINT、SMALLINT、INT和BIGINT归一化为BIGINT。

      • FLOAT和DOUBLE归一化为DOUBLE。

      • CHAR、VARCHAR和STRING归一化为STRING。

      • 其他数据类型不进行归一化。

      例如：

      • SMALLINT修改为INT，两者的归一化类型都是BIGINT，视为修改成功，作业正常运行。

      • 从FLOAT改为BIGINT，两者的归一化类型分别为DOUBLE和BIGINT，属于不兼容的情况，会抛出异常。

      Paimon表中存储的数据类型将统一为归一化后的类型。例如，MySQL中类型分别为SMALLINT和INT的两列，在Paimon表中均存储为BIGINT类型。

在数据查询文本编辑区域输入如下命令，选中代码后单击运行。

ALTER TABLE my_table SET (
  'write-buffer-size' = '256 MB',
  'write-buffer-spillable' = 'true'
);

ALTER TABLE my_table RENAME TO my_table_new;

ALTER TABLE my_table RENAME c0 TO c1;

ALTER TABLE my_table DROP (c1, c2);

ALTER TABLE my_table DROP PARTITION (`dt` = '20240108', `hh` = '08'), PARTITION (`dt` = '20240109', `hh` = '07');

ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'this is buy count';

ALTER TABLE my_table MODIFY col_a DOUBLE;

在数据查询文本编辑区域输入如下命令，选中代码后单击运行。

--my-catalog需要替换为您创建的Paimon Catalog名称。
--my_db需要替换为您想要使用的database名称。
--my_tbl需要替换为您创建的Paimon Catalog表名称。
DROP TABLE `my-catalog`.`my_db`.`my_tbl`;

出现The following statement has been executed successfully!的提示信息说明Paimon表删除成功。