概览

Flink版本

阿里云实时计算VVR版本

Hologres版本

更新信息

相关文档

1.17

8.0.7

2.1.x

维表：修复维表字段较多时，频繁获取元数据导致作业上线超时的问题。

通用：修复不同的表使用了多个不同的用户，共享连接池时抛出权限不足异常的问题。

实时计算Flink版实时消费Hologres

1.17

8.0.6

2.1.x

源表：

• Hologres V2.1版本起下线Holohub模式，不再支持Flink通过Holohub模式消费Hologres Binlog。Flink VVR 8.0.6版本对应的Hologres Connector，支持在Hologres实例版本升级至V2.1后，自动将Holohub模式切换为JDBC模式，详情请参见Flink/Blink实时消费Hologres Binlog。

Hologres Catalog：

• 创建Catalog时，支持在dbname参数中以dbname@warehouse_name的方式指定计算组。若指定的计算组为从计算组（follower），Catalog提供的表仅支持作为Flink SQL作业中的源表和维表，不支持作为结果表。

通用：

• 支持通过type-mapping.timestamp-converting.legacy参数启用正确读写Flink TIMESTAMP_LTZ类型，详情请参见Flink与Hologres时区说明。

• 实时数仓Hologres连接器

• Hologres计算组实例快速入门

• 连接计算组

• 计算组Table Group授权管理

1.17

8.0.5

2.0.x

2.1.x

源表：

• Hologres实例为2.1及以上版本时，使用JDBC消费Binlog不再需要创建slot，详情请参见详见通过JDBC消费Hologres Binlog。因此，从该版本开始，当判断Hologres实例的版本大于2.1时，也将不再自动创建publication和slot。

结果表：

• 新增deduplication.enabled参数，默认为true。当设置为false时，表示结果表在写入聚合过程中可以选择不进行去重。该功能适用于对上游CDC流的完全回放等场景。

• 无主键表支持bulkload写入，相比原有的jdbc_copy，写入时使用更少的Hologres资源。

通用：

• 支持通过connection.ssl.mode以及connection.ssl.root-cert.location参数启用传输加密。

• 为内部JDBC连接增加超时参数，以防止在服务端异常重启等情况下，客户端连接出现死等的问题。

• 实时数仓Hologres连接器

• 实时计算Flink版实时消费Hologres

1.17

8.0.4

2.0.x

2.1.x

源表：

• 在使用JDBC消费Binlog时会自动创建publication。然而，当对表进行重建时，之前创建的publication并不会被自动删除，从而导致无法消费重建表的Binlog。在此版本中，针对这类情况进行了处理，系统将会自动删除残留的publication。

通用：

• 为了增加连接池参数的默认值，现在同一任务中的Hologres维表和结果表将共享连接池。

• 实时数仓Hologres连接器

• 实时计算Flink版实时消费Hologres

1.17

8.0.3

2.0.x

2.1.x

通用：

• 无论Hologres实例版本，维表和结果表都已不再支持RPC模式。若选择RPC模式，将自动切换为jdbc_fixed模式，如果实例版本较低，建议升级版本。

实时数仓Hologres连接器

1.15

6.0.7

• 1.3.x

• 2.0.x

• 源表：

  适配Hologres V2.0版本，检测到用户连接到的是2.0及以上版本的Hologres实例，则自动切换Holohub Binlog模式为jdbc binlog模式。

• 维表：

  适配Hologres V2.0版本，检测到用户连接到的是2.0及以上版本的Hologres实例，则自动切换RPC模式为jdbc_fixed模式。

• 结果表：

  • 适配Hologres V2.0版本，检测到用户连接到的是2.0及以上版本的Hologres实例，则自动切换RPC模式为jdbc_fixed模式。

  • 新增部分列更新能力，仅支持插入Flink INSERT语句中声明的字段，使用此能力可以更加简洁地表达宽表Merge场景。

• 通用：

  Connector中发生record convert异常时，会打印出来源数据以及目前convert的结果，方便排查脏数据问题。

• 问题修复：

  • 修复用户作业中不同实例或者数据库使用相同connectionPoolName不抛出异常的问题。

  • 修复6.0.6版本中维表字符串类型有null值时抛出空指针的问题。

实时数仓Hologres连接器

1.15

6.0.6

1.3.x

源表：

• JDBC模式消费Hologres Binlog不再强制设置Slotname参数，支持创建默认Slot，从Holohub模式切换更平滑。

• 新增enable_filter_push_down参数，批量源表不再默认下推filter条件，需要设置此参数值为true。

实时数仓Hologres连接器

1.15

6.0.5

1.3.x

• 通用：作业启动时，会在TaskManager日志中打印所有参数信息，方便排查问题。

• CTAS/CDAS：支持字段类型宽容模式，使用此模式上游发生数据类型修改事件时，只要所修改类型与原类型的归一化类型相同，都视作修改成功。

• Hologres Catalog：丰富ALTER TABLE语法，支持修改Hologres物理表属性，支持修改表名、增加列、列重命名和修改列注释。

• CREATE TABLE AS（CTAS）语句

• 使用Hologres Catalog

1.15

6.0.3~6.0.4

1.3.x

源表：

• 新增JDBC模式消费Hologres Binlog，此模式支持更多的数据类型，且支持自定义账号。

• 批量源表以及全增量源表的全量阶段，支持Filter下推。

结果表：

支持以Fixed Copy的模式写入，Fixed Copy是Hologres1.3版本新增的能力，相比通过JDBC模式进行写入，Fixed Copy方式可以实现更高的吞吐（因为是流模式）、更低的数据延时和更低的客户端内存消耗（因为不攒批）。

Hologres Catalog：

• 支持创建Catalog时进行默认的表属性设置。

sdkMode参数：Hologres不同类型的表都有多种模式可以选择，此版本开始统一整理为sdkMode参数，详情请参见Flink全托管概述。

• Flink全托管概述

• COPY场景

1.13

4.0.18

1.1及以上版本

修复Sink表上报Metrics影响写入性能的问题。

1.13以及1.15

4.0.15以及6.0.2

1.1及以上版本

源表：

• 从该版本开始，批量源表默认大小写敏感。

• 支持配置批量源表Scan操作所在事务的超时时间。

• 修复批量源表解析复杂字符串可能失败的问题。

• 全增量源表新增Upsert模式。

维表：

Hologres维表支持异步请求的超时时间（asyncTimeoutMs）设置。

结果表：

• 支持PARTITION BY语法，CTAS创建Hologres结果表时可以通过PARTITION BY定义分区表。

• Metrcis支持currentSendTime指标。

• 开源Flink源表

• CREATE TABLE AS（CTAS）语句

1.13

4.0.13

1.1及以上版本

• 源表支持全增量一体源表消费。

• 支持Datastream API。

• Flink全托管概述

• Hologres DataStream Connector

1.1.3

4.0.12

1.1及以上版本

• 支持JSON格式动态写入Hologres。

• 支持写入RoaringBitmap类型。

Flink全托管概述

1.13

4.0.11

0.10及以上版本

支持CTAS、CDAS。

• CREATE TABLE AS（CTAS）语句

• CREATE DATABASE AS（CDAS）语句

1.13

4.0.8

0.10及以上版本

结果表、源表、维表支持Hologres Catalog。

管理Hologres Catalog

1.13

3.0.0

0.9及以上版本

支持实时消费Hologres。

Flink全托管概述

1.13

2.0.0

0.7及以上版本

支持Hologres Connector。

Flink全托管概述

等级

缺陷描述

影响版本

修复版本

解决方法

P1

维表字段数量较多时，作业上线超时。

8.0.6

8.0.7

建议升级版本。

P0

当在批量源表中开启enable_filter_push_down参数后，Filter不生效，导致读取的数据包含了一些应该被过滤掉的数据。

8.0.5及之前版本

8.0.6

建议升级版本。

P0

通过FixedFE（对应Connector中的jdbc_fixed模式）写入JSON或JSONB类型数据到Hologres时，如果数据源有不合法的JSON或JSONB字段，会导致当前连接所在FE节点重启，当前FE的连接中断。

8.0.5及之前版本

暂无

如果无法保证上游JSON或JSONB字符串的合法性，建议使用JDBC模式写入。

P1

JDBC维表一对多Join时，内部出现的连接失败等异常无法抛出，表现为异步Join节点反压且数据不再流动，发生概率较小。

6.0.7及之前版本

8.0.3

建议升级版本，也可以通过重启作业暂时恢复。

P1

通过JDBC模式消费Binlog时，存在内存泄漏问题。可能的表现为作业启动时消费速率较高，之后持续下降。

6.0.7及之前版本

6.0.7

建议升级版本，对于DataStream作业，需要使用6.0.7-1版本的依赖。

P0

JDBC模式写入的定时Flush（由jdbcWriteFlushInterval参数控制）捕获的异常在下条数据写入时才会抛出，当用户写入流量较小时，异常被捕获还未抛出期间有可能进行成功的checkpoint。下次失败时会从这个不合理成功的checkpoint恢复，从而可能出现丢数据的情况。

6.0.6及之前版本

6.0.7

流量较小时容易出发此缺陷，建议升级版本，或者调整jdbcWriteFlushInterval时间大于checkpoint的间隔时间。

P2

JDBC模式消费Binlog不设置Slotname时，系统会自动创建一个Slotname。若当表名含有特殊字符或Schema名称时，自动创建非法Slotname，无法使用，且作业将会抛出syntax error异常。

6.0.6

6.0.7

建议升级版本，对于DataStream作业，需要使用6.0.7-1版本的依赖。

P1

用户作业中不同的Hologres实例或数据库使用相同的connectionPoolName时，出现找不到表等异常。

6.0.6及之前版本

6.0.7

同一个作业使用的Hologres实例或者数据库不同时，使用不同的connectionPoolName。

P1

维表字符串类型有null值时，会抛出NPE异常。

6.0.6

6.0.7

建议升级版本。

P0

Hologres源表默认开启Filter下推，但如果作业也使用了Hologres维表，且写入的DML中包含对维表非主键字段的过滤条件时，维表的Filter也会被错误地下推，可能导致维表Join出现错误结果。

6.0.3~6.0.5

6.0.6

建议升级版本。

P0

多个结果表的mutatetype不同，但使用同一个connectionPoolName参数以复用连接池时，可能出现mutatetype配置被覆盖的情况，导致配置不生效。

6.0.2及之前版本

6.0.3

将全部结果表的mutatetype都设置为InsertOrUpdate，或者为mutatetype不同的表设置不同的connectionPoolName。

P1

Binlog源表DDL中声明hg_binlog_timestamp_us字段时抛出NPE异常。

6.0.2

6.0.3

不使用所述字段，或者升级版本。

P1

汇报Metrics会影响结果表的写入性能，排查表现为Sink节点的thread dump会卡在reportWriteLatency。

4.0.15~4.0.17

4.0.18

选择没有受影响的版本。

P2

批量源表读取字符或字符数组类型，其中比较特殊字符时，解析字符串失败。

4.0.14及之前版本

4.0.15

清理源表中的脏数据，或者升级版本。

P2

全增量一体化源表DDL中声明hg_binlog等Binlog独有字段时，消费不到全量数据。

4.0.13

4.0.14

不使用全增量功能，或者升级版本。