Hologres结果表

create table hologres_sink(
  name varchar,
  age BIGINT,
  birthday BIGINT
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',  --Hologres的数据库名称。
  'tablename'='<yourTablename>',  --Hologres用于接收数据的表名称。
  'username'='<yourUsername>',  --当前阿里云账号的AccessKey ID。
  'password'='<yourPassword>',  --当前阿里云账号的AccessKey Secret。
  'endpoint'='<yourEndpoint>',  --当前Hologres实例VPC网络的Endpoint。
);

• Exactly-once（仅一次）：即使在发生各种故障的情况下，系统只处理一次数据或事件。
• At-least-once（至少一次）：如果在系统完全处理之前丢失了数据或事件，则从源头重新传输，因此可以多次处理数据或事件。如果第一次重试成功，则不进行后续重试。

• 如果Hologres物理表未设置主键，则Hologres Sink使用At-least-once语义。
• 如果Hologres物理表已设置主键，则Hologres Sink通过主键确保使用Exactly-once语义。当同主键数据出现多次时，您需要设置mutatetype参数确定更新结果表的方式，mutatetype取值如下：
  • insertorignore（默认值）：保留首次出现的数据，忽略后续所有数据。
  • insertorreplace：整行替换已有数据。
  • insertorupdate：替换部分已有数据。例如一张表有a、b、c和d四个字段，a是主键PK（Primary Key），写入Hologres时只写入a和b两个字段，在主键重复的情况下，系统只会更新b字段，c和d保持不变。
  说明

  • 当mutatetype设置为insertorupdate或insertorreplace时，系统根据主键更新数据。
  • Flink全托管定义的结果表中的数据列数不一定要和Hologres物理表的列数一致，您需要保证缺失的列没有非空约束，即列值可以为Null，否则会报错。
• 默认情况下，Hologres Sink只能向一张表导入数据。如果导入数据至分区表的父表，即使导入成功，也会查询数据失败。您可以设置参数partitionrouter为true，开启自动将数据路由到对应分区表的功能。注意事项如下：
  • tablename参数需要填写为分区表父表的表名称。
  • 如果没有提前创建分区表，需要设置createparttable参数为true，从而支持自动创建分区表，否则会导入失败。

1. 使用Flink SQL声明两张Hologres结果表，其中一张表只声明字段A、B、C，另一张表只声明字段A、D、E，这两张表都映射至WIDE_TABLE。
2. 两张结果表的mutatetype属性都设置成insertorupdate。
3. 两张结果表的ignoredelete属性都设置成true，防止回撤消息产生Delete请求。
4. 将两个流的数据分别Insert至两张结果表中。

1. 宽表必须有主键。
2. 每个流的数据都必须包含完整主键字段。
3. 列存表的宽表Merge场景在高RPS的情况下，CPU使用率会偏高，建议关闭表中字段的Dictionary encoding。