管理Hologres Catalog

创建Hologres表

要创建的表信息：Hologres Catalog为holocatalog、数据库为holodb、表为holotable。

具体的操作如下：

创建Hologres表时，允许在WITH参数中设置表属性（部分属性无法修改），合理的表属性设置可以有助于系统高效地组织和查询数据。

• 物理表属性：当前支持的表属性与Hologres侧是一致的，Catalog侧仅是加上了table_property.前缀用以区分。参数详情请参见建表概述和订阅Hologres Binlog。

  参数	说明	使用示例	是否支持修改
  table_property.orientation	表存储格式。	'table_property.orientation' = 'row,column'	不支持修改
  table_property.table_group	Table Group。	'table_property.table_group' = 'table_group_xxx'
  table_property.distribution_key	分布键。	'table_property.distribution_key' = 'a,b'
  table_property.clustering_key	聚簇索引。	'table_property.clustering_key' = 'a,b:desc'
  able_property.event_time_column（原table_property.segment_key）	分段键。	'table_property.event_time_column' = 'c,d'（或者 'table_property.segment_key' = 'c,d'）
  table_property.bitmap_columns	位图索引。	'table_property.bitmap_columns' = 'a:on,b:off'	支持修改
  table_property.dictionary_encoding_columns	比特编码。	'table_property.dictionary_encoding_columns' = 'a:on,b:off,c:auto'
  table_property.time_to_live_in_seconds	表数据声明周期。	'table_property.time_to_live_in_seconds' = '864000'
  table_property.binlog.level	是否开启Binlog。	'table_property.binlog.level' = 'replica'
  table_property.binlog.ttl	Binlog的TTL。	'table_property.binlog.ttl' = '86400'

• 宽容模式参数：在使用Hologres Catalog创建表时，可以通过参数enableTypeNormalization设置是否打开类型宽容模式。

  维度	说明
  使用场景	在CTAS等场景中，需要调整已有字段数据类型的精度（如从VARCHAR(10)到VARCHAR(20)）或者修改数据类型（如从SMALLINT修改为INT）。
  注意事项	宽容模式应该在首次启动CTAS作业时开启，如果在首次启动时未开启宽容模式，需要删除下游表并且将作业无状态重启才能生效。 开启宽容模式后，在上游发生数据类型修改事件时，只要所修改类型与原类型的归一化类型相同，则视作类型修改成功，CTAS作业正常运行。否则属于不兼容的情况，CTAS作业会抛出异常。
  参数取值	false（默认值）：根据类型映射正常创建Hologres物理表。 true：启用类型宽容模式，在创建Hologres物理表时，会使用类型归一化后精度更高的数据类型。目前类型归一化规则如下： TINYINT、SMALLINT、INT和BIGINT归一化为BIGINT。 CHAR、VARCHAR和STRING归一化为STRING。 FLOAT和DOUBLE归一化为DOUBLE。 其他数据类型按照原本的类型映射规则创建，详情请参见类型映射。

修改Hologres表

目前Hologres Catalog支持的修改表操作及示例如下：

读写Hologres表

• 读取Hologres表数据写入到结果表中。

  Flink默认以批模式读取Hologres源表数据，不会实时消费新写入的数据。要实时消费Hologres数据，您可以采用以下任一方案。

  • 在创建Hologres Catalog时配置：在创建Catalog时采用SQL方式，开启Binlog并消费Binlog数据，具体请参考实时消费示例。然后读取Hologres数据，代码示例如下。

    语法	示例
    INSERT INTO ${other_sink_table} SELECT ... FROM `${catalog_name}`.`${db_name}`.`${schema_name.table_name}`;	INSERT INTO sink_table SELECT id, name FROM `holocatalog`.`holodb`.`holotable`;

  • 更改读取模式为流模式：通过Table Hint方式将读取模式更改为流模式，在SQL中添加/*+ OPTIONS('binlog'='true') */ 参数。代码示例如下。

    INSERT INTO sinktable
    SELECT id, name
      FROM `holocatalog`.`holodb`.`holotable`
      /*+ OPTIONS ('binlog' = 'true') */;

• 将源表数据写入到Hologres表中。

  语法	示例
  INSERT INTO `${catalog_name}`.`${db_name}`.`${schema_name.table_name}` SELECT ... FROM ${other_source_table}	INSERT INTO `holocatalog`.`holodb`.`holotable` SELECT id, name FROM source_table;

作为CTAS的目标端Catalog

• 语法

  CREATE TABLE IF NOT EXISTS `${catalog_name}`.`${db_name}`.`${schema_name.table_name}`
  WITH (
    'connector' = 'hologres'
  ) AS TABLE ${other_source_table};

• 示例

  CREATE TABLE IF NOT EXISTS `holocatalog`.`holodb`.`holotable`
  WITH (
    'connector' = 'hologres'
  ) AS TABLE source_table;

CTAS支持在WITH参数中设置物理表属性，在创建目标表时，同时在表上设置对应的属性。具体支持的表属性参数详情，请参见创建Hologres表。

作为CDAS的目标端Catalog

• 语法

  CREATE DATABASE IF NOT EXISTS `${catalog_name}`.`${db_name}`
  WITH (
    'sink.parallelism' = '5' -- 设置每张结果表的并发数。
  ) AS DATABASE ${other_source_database};

• 示例

  CREATE DATABASE IF NOT EXISTS `holocatalog`.`holodb`
  WITH (
    'sink.parallelism' = '5' -- 设置每张结果表的并发数。
  ) AS DATABASE source_database;

WITH参数设置：

• 支持声明结果表的参数：当作业启动时，这些参数将被应用到需要同步的下游表中。具体支持调节的参数可参见实时数仓Hologres结果表。

• 支持指定schemaname：将数据同步到Hologres目标库的指定Schema中。参数信息如下。

  参数	说明	是否必填	备注
  schemaname	schema名称。	否	默认值为public。

• 不支持设置物理表属性：每张目标表可能需要设置不同的表属性，WITH参数不支持为每张表分别设置属性。

  如果您需要设置表属性，需要先手动创建目标表，再去启动CDAS作业。物理表属性的详细信息请参见创建Hologres Catalog。