使用Flink导入

Flink版本

阿里云实时计算VVR版本

Hologres版本

更新信息

相关文档

1.20

11.6

3.2.x

4.0.x

4.1.x

源表：

• 新增LATEST_OFFSET启动模式，支持Binlog从最新offset开始消费。

• Binlog订阅支持varchar数组类型。

Catalog：

• Hologres Catalog暴露全局索引和前缀扫描key作为Catalog Index。

通用：

• 新增JDBC探针请求缓存，避免多表场景下SQL Gateway超时。

实时数仓Hologres连接器

1.20

11.5

3.2.x

4.0.x

4.1.x

源表：

• 新增scan.binlog.prefer.physical-column.over.metadata参数，解决物理列和元数据列重名时优先取用物理列的问题。

• 批量源表（Batch模式）默认不再做reshuffle。

维表：

• 新增列存表lookup校验，使用列存表作为维表时需配置lookup.read.column-table.enabled参数。

通用：

• 支持AKV4（Access Key Version 4）认证方式。

bugfix：

• 修复check and put收到delete记录时的NPE问题。

• 更新holo-client修复Binlog列裁剪开启时可能读取错列（projection columns）的问题。

实时数仓Hologres连接器

1.20

11.4

3.2.x

4.0.x

4.1.x

结果表：

• 新增sink.ignore-null-when-update-by-expr.enabled参数，支持通过insert expression实现更新时忽略null值。

• 支持insert冲突表达式（conflict expr），可自定义冲突处理逻辑。

• stream copy模式支持binaryrow格式，提升写入性能。

维表：

• 维表支持filter下推（filter pushdown）。

bugfix：

• 更新holo-client修复一对多维表在停止作业时无法关闭的问题。

实时数仓Hologres连接器

1.20

11.3

3.1.x

3.2.x

4.0.x

源表：

• Binlog消费支持数据压缩和列裁剪，降低网络传输和内存消耗。

• Binlog支持filter下推，减少不必要的数据传输。

结果表：

• 修复创建分区后缀与动态分区冲突的问题。

• 支持写入生成列字段。

通用：

• 选择fixedfe不支持的类型时自动切换到fe连接。

• 更新holo-client修复数据库名包含@warehouse时连接失败的问题。

bugfix：

• 修复Connector从checkpoint恢复时，如果表被drop过则无法恢复的问题。

• 修复消费物理分区父表的分区state LSN在shard无数据时被错误初始化为0的问题。

• 修复JDBC Binlog读取RoaringBitmap失败的问题。

实时数仓Hologres连接器

1.20

11.2

3.1.x

3.2.x

4.0.x

结果表：

• 支持表级别设置写入时不生成Binlog（sink.not-generate-binlog.enabled），避免Binlog循环消费等场景。

• 脏数据策略仅对真正的脏数据异常生效，避免误处理。

通用：

• 创建HologresDynamicTableSink时不再访问表元数据，加速作业提交。

bugfix：

• 修复Binlog + upsert source配置的向后兼容性问题。

• 修复Hologres配置参数的向后兼容性问题。

• 修复已废弃参数的兼容性问题。

• 修复写入text数组包含null元素时的NPE问题。

实时数仓Hologres连接器

1.20

11.1

3.1.x

3.2.x

源表：

• 支持为Hologres逻辑分区表指定分区值来订阅Binlog。

结果表：

• 支持以日期格式创建分区。

维表：

• 新增缓存miss和hit的metrics指标。

通用：

• 根据已知问题自动选择最佳连接模式。

• 修复SQL Hint中非规范形式的options无法覆盖catalog options的问题。

实时数仓Hologres连接器

1.20

11.0

3.1.x

3.2.x

通用：

• 全面移除RPC和Holohub相关代码及依赖，Connector仅保留JDBC模式。重构参数命名。

源表：

• 全增量一体源表：全量快照读取完成后从当前最大LSN开始增量消费，避免数据丢失。

实时数仓Hologres连接器

1.17

8.0.11

2.1.x

2.2.x

3.0.x

源表：

• 支持读取分区表的Binlog。

• 支持源表元数据列（meta column）。

• JDBC Binlog的decimal类型使用Flink类型的scale。

• 全增量一体源表：snapshot读取完成后从当前最大LSN开始增量消费。

结果表：

• 新增check and put能力，支持条件写入。

• 支持aggressive flush，降低数据可见性延迟。

• copy写入模式支持time类型。

• copy写入模式新增max cell buffer size参数。

• copy写入模式设置idle-session-timeout，防止长时间空闲连接。

通用：

• remove-u0000-in-text.enabled参数默认值改为true。

• 支持状态兼容性（升级/降级场景）。

• 使用Catalog维表时不再在factory中校验Binlog参数，避免误报异常。

• 作业上线时仅重试3次后快速抛出异常，避免长时间等待。

bugfix：

• 更新holo-client修复JDBC URL解析问题。

• 修复全增量一体源表JDBC Binlog从LSN+1开始消费的问题（Checkpoint已记录）。

• 修复CTAS场景drop column和type change同时发生时类型归一化错误的问题。

实时数仓Hologres连接器

1.17

8.0.9~8.0.10

2.1.x

2.2.x

3.0.x

• 修复共享连接池时，注册新的client可能死锁的问题。

• 消费binlog从状态恢复，不再强制检查table id。

实时数仓Hologres连接器

1.17

8.0.8

2.1.x

2.2.x

结果表：

• 新增sink.delete-strategy参数，在原有ignoredelete的基础上，丰富了对UPDATE BEFORE类型记录的处理方式。

实时数仓Hologres连接器

1.17

8.0.7

2.1.x

维表：

• 修复维表字段较多时，频繁获取元数据导致作业上线超时的问题。

通用：

• 修复不同的表使用了多个不同的用户，共享连接池时抛出权限不足异常的问题。

实时数仓Hologres连接器

1.17

8.0.6

2.1.x

源表：

• Hologres V2.1 起下线 Holohub 模式，不再支持 Flink 通过 Holohub 模式消费 Hologres Binlog。Flink VVR 8.0.6 版本对应的 Hologres Connector，支持在 Hologres 实例版本升级至 Hologres V2.1 后，自动将 Holohub 模式切换为 JDBC 模式，详情请参见Flink/Blink 实时消费 Hologres Binlog。

Hologres Catalog：

• 创建Catalog时，支持在dbname参数中以dbname@warehouse_name的方式指定计算组。若指定的计算组为从计算组（follower），Catalog提供的表仅支持作为Flink SQL作业中的源表和维表，不支持作为结果表。

通用：

• 支持通过type-mapping.timestamp-converting.legacy参数启用正确读写Flink TIMESTAMP_LTZ类型，详情请参见实时数仓Hologres。

• 实时数仓Hologres连接器

• Hologres计算组实例快速入门

• 连接计算组

• 计算组数据访问授权

1.17

8.0.5

2.0.x

2.1.x

源表：

• Hologres 实例为 Hologres V2.1 及以上版本时，使用 JDBC 消费 Binlog 不再需要创建 slot，详情请参见通过JDBC消费Hologres Binlog。因此，从该版本开始，当判断 Hologres 实例的版本大于 V2.1 时，也将不再自动创建 publication 和 slot。

结果表：

• 新增deduplication.enabled参数，默认为true。当设置为false时，表示结果表在写入聚合过程中可以选择不进行去重。该功能适用于对上游CDC流的完全回放等场景。

• 无主键表支持bulkload写入，相比原有的jdbc_copy，写入时使用更少的Hologres资源。

通用：

• 支持通过connection.ssl.mode以及connection.ssl.root-cert.location参数启用传输加密。

• 为内部JDBC连接增加超时参数，以防止在服务端异常重启等情况下，客户端连接出现死等的问题。

• 实时数仓Hologres连接器

• 实时计算Flink版实时消费Hologres

1.17

8.0.4

2.0.x

2.1.x

源表：

• 在使用JDBC消费Binlog时会自动创建publication。然而，当对表进行重建时，之前创建的publication并不会被自动删除，从而导致无法消费重建表的Binlog。在此版本中，针对这类情况进行了处理，系统将会自动删除残留的publication。

通用：

• 为了增加连接池参数的默认值，现在同一任务中的Hologres维表和结果表将共享连接池。

• 实时数仓Hologres连接器

• 实时计算Flink版实时消费Hologres

1.17

8.0.3

2.0.x

2.1.x

通用：

• 无论Hologres实例版本，维表和结果表都已不再支持RPC模式。若选择RPC模式，将自动切换为jdbc_fixed模式，如果实例版本较低，建议升级版本。

实时数仓Hologres连接器

1.15

6.0.7

• 1.3.x

• 2.0.x

• 源表：

  适配 Hologres V2.0，检测到用户连接到的是 Hologres V2.0 及以上版本的 Hologres 实例，则自动切换 Holohub Binlog 模式为 jdbc binlog 模式。

• 维表：

  适配 Hologres V2.0，检测到用户连接到的是 Hologres V2.0 及以上版本的 Hologres 实例，则自动切换 RPC 模式为 jdbc_fixed 模式。

• 结果表：

  • 适配 Hologres V2.0，检测到用户连接到的是 Hologres V2.0 及以上版本的 Hologres 实例，则自动切换 RPC 模式为 jdbc_fixed 模式。

  • 新增部分列更新能力，仅支持插入Flink INSERT语句中声明的字段，使用此能力可以更加简洁地表达宽表Merge场景。

• 通用：

  Connector中发生record convert异常时，会打印出来源数据以及目前convert的结果，方便排查脏数据问题。

• 问题修复：

  • 修复用户作业中不同实例或者数据库使用相同connectionPoolName不抛出异常的问题。

  • 修复6.0.6版本中维表字符串类型有null值时抛出空指针的问题。

实时数仓Hologres连接器

1.15

6.0.6

1.3.x

源表：

• JDBC模式消费Hologres Binlog不再强制设置Slotname参数，支持创建默认Slot，从Holohub模式切换更平滑。

• 新增enable_filter_push_down参数，批量源表不再默认下推filter条件，需要设置此参数值为true。

实时数仓Hologres连接器

1.15

6.0.5

1.3.x

• 通用：作业启动时，会在TaskManager日志中打印所有参数信息，方便排查问题。

• CTAS/CDAS：支持字段类型宽容模式，使用此模式上游发生数据类型修改事件时，只要所修改类型与原类型的归一化类型相同，都视作修改成功。

• Hologres Catalog：丰富ALTER TABLE语法，支持修改Hologres物理表属性，支持修改表名、增加列、列重命名和修改列注释。

• CREATE TABLE AS（CTAS）语句

• 使用Hologres Catalog

1.15

6.0.3~6.0.4

1.3.x

源表：

• 新增JDBC模式消费Hologres Binlog，此模式支持更多的数据类型，且支持自定义账号。

• 批量源表以及全增量源表的全量阶段，支持Filter下推。

结果表：

支持以 Fixed Copy 的模式写入，Fixed Copy 是 Hologres V1.3 新增的能力，相比通过 JDBC 模式进行写入，Fixed Copy 方式可以实现更高的吞吐（因为是流模式）、更低的数据延时和更低的客户端内存消耗（因为不攒批）。

Hologres Catalog：

• 支持创建Catalog时进行默认的表属性设置。

sdkMode参数：Hologres不同类型的表都有多种模式可以选择，此版本开始统一整理为sdkMode参数，详情请参见Flink全托管。

• Flink全托管

• COPY场景

1.13

4.0.18

1.1及以上版本

修复Sink表上报Metrics影响写入性能的问题。

1.13以及1.15

4.0.15以及6.0.2

1.1及以上版本

源表：

• 从该版本开始，批量源表默认大小写敏感。

• 支持配置批量源表Scan操作所在事务的超时时间。

• 修复批量源表解析复杂字符串可能失败的问题。

• 全增量源表新增Upsert模式。

维表：

Hologres维表支持异步请求的超时时间（asyncTimeoutMs）设置。

结果表：

• 支持PARTITION BY语法，CTAS创建Hologres结果表时可以通过PARTITION BY定义分区表。

• Metrcis支持currentSendTime指标。

• 开源Flink源表

• CREATE TABLE AS（CTAS）语句

1.13

4.0.13

1.1及以上版本

• 源表支持全增量一体源表消费。

• 支持Datastream API。

• Flink全托管

• Hologres DataStream Connector

1.1.3

4.0.12

1.1及以上版本

• 支持JSON格式动态写入Hologres。

• 支持写入RoaringBitmap类型。

Flink全托管

1.13

4.0.11

0.10及以上版本

支持CTAS、CDAS。

• CREATE TABLE AS（CTAS）语句

• CREATE DATABASE AS（CDAS）语句

1.13

4.0.8

0.10及以上版本

结果表、源表、维表支持Hologres Catalog。

管理Hologres Catalog

1.13

3.0.0

0.9及以上版本

支持实时消费Hologres。

Flink全托管

1.13

2.0.0

0.7及以上版本

支持Hologres Connector。

Flink全托管

等级

缺陷描述

影响版本

修复版本

解决方法

P0

结果表写入部分列，如果未写入的字段设置了当前时间相关的默认值，如 current_timestamp、 now()等，最终填充的默认值可能不符合预期。原因是 FixedFE 模式对时间相关默认值的处理不正确。

11.0 ~ 11.5

不涉及

在写入时使用 Flink 侧的 now 传入结果表相应字段。或者将connection.fixed.enabled 参数设置为 false。

P0

Binlog消费时，如果物理列和元数据列存在同名列（如table_name），会错误地读取元数据列的值而非物理列的数据，导致数据不正确。

8.0.11, 11.0~11.4

11.5

升级至11.5及以上版本，并设置scan.binlog.prefer.physical-column.over.metadata为true。或在升级前，避免在Binlog源表的DDL中同时声明与元数据列同名的物理列。

P1

Binlog列裁剪可能导致Binlog消费的数据列错位。原因是holo-client在处理列裁剪时可能获取到非预期的列。

11.3~11.5

11.3~11.5均已发布hot-fix修复

此问题通过hot-fix修复，一般不会碰到。如果是DataStream作业，可以使用最新版本的Connector。

P2

一对多维表的Scanner在停止作业时无法正常关闭，可能导致资源泄漏或作业停止超时。原因是holo-client内部的scanner关闭逻辑存在问题。

11.3之前

11.4

升级至11.4及以上版本。

P1

使用check and put功能时，如果收到delete记录会抛出NPE异常，导致作业失败。

8.0.11~11.4

11.5

升级至11.5及以上版本。或暂时避免在有delete操作的流上使用check and put。

P2

Connector从checkpoint恢复时，如果表在作业运行期间被drop并重建过，则无法从checkpoint恢复。

11.0~11.2

11.3

如果是测试场景，可以升级至11.3及以上版本避免此问题。需要注意的是：消费Binlog过程中，drop表会影响数据正确性，因此生产场景不建议在消费Binlog过程中重建表。

P1

JDBC Binlog读取RoaringBitmap类型数据失败，抛出解析异常。

11.0~11.2

11.3

升级至11.3及以上版本。

P1

消费物理分区表state的LSN在shard无数据时被错误初始化为0，导致分区数据在从state恢复时丢失。

8.0.10之前, 11.0~11.2

8.0.11, 11.3

升级至8.0.11或11.3及以上版本。

P1

写入text数组包含null元素时抛出NPE异常，导致写入失败。

11.0~11.1

11.2

升级至11.2及以上版本。或确保上游数据中text数组不包含null元素。

P1

创建分区后缀与动态分区冲突，导致分区创建失败。

11.0~11.2

11.3

升级至11.3及以上版本。

P2

脏数据策略对非脏数据异常也会生效，导致正常的异常被错误处理（如静默丢弃）。

11.0~11.1

11.2

升级至11.2及以上版本。

P1

全增量一体源表：JDBC Binlog从LSN+1开始消费的问题。Checkpoint中已记录当前LSN，恢复后可能跳过一条记录。

8.0.10及之前

8.0.11

升级至8.0.11。

P2

CTAS场景下drop column和type change同时发生时，类型归一化错误导致schema变更失败。

8.0.10及之前

8.0.11

升级至8.0.11。或避免同时进行drop column和type change操作。

P2

使用Catalog维表时，factory中校验Binlog参数导致误报异常。

8.0.10及之前

8.0.11

升级至8.0.11。

P2

多表场景下JDBC探针请求（poking request）过多导致SQL Gateway超时。

11.0~11.5

11.6

升级至11.6。或减少同一作业中的Hologres表数量。

P2

选择fixedfe模式时，如果表中包含fixedfe不支持的类型，不会自动降级到fe连接，导致写入或查询异常。

11.0~11.2

11.3

升级至11.3及以上版本。或手动指定使用fe连接模式。

P1

JDBC模式消费Binlog，出现Binlog Convert Failed异常，或者部分shard的数据读取停止在某个时刻。原因是Hologres实例的Gateway收到后端超时的异常信息时，将异常返回给客户端的过程中会存在问题，导致读取数据卡住或数据解析失败报错。

不涉及

不涉及

一般在作业反压时会更容易出现，如果作业存在数据读取卡住的问题，可以选择重启作业并从最近的checkpoint恢复。

要彻底解决该问题，需要将Hologres版本升级到2.2.21及以上版本。

P2

作业上线慢或者超时，查看Thread Dump卡在 GetTableSchema处。

不涉及

不涉及

可能存在多种情况，可以根据以下步骤依次排查：

1. 请先验证Flink集群和Hologres实例的网络连通性。

2. 调整 jdbcRetryCount参数为1，防止内部重试无法看到异常根因。

3. Hologres V2.0 及其之前版本，在用户 DDL 频繁时，存在元数据清理不及时的问题，可能导致查询表的 Meta 变慢，建议将 Hologres 版本升级至 Hologres V2.1 及以上版本。

P0

通过FixedFE（对应connector中的jdbc_fixed模式）写入Hologres的 Text，Json或Jsonb类型时，如果数据源有不合法的字符，可能抛出预期外的异常，进一步导致当前连接所在FE节点重启，当前FE的连接中断。

不涉及

不涉及

如果无法保证上游字符串的合法性，建议使用jdbc模式写入，并且为结果表开启

remove-u0000-in-text.enabled参数。

或者将Hologres版本升级至3.0及以上版本，以继续使用jdbc_fixed模式。

P1

在进行JDBC维表一对多join时，Flink Task出现内存使用过高或者OOM 的情况。

不涉及

不涉及

Hologres V1.3，使用prefix scan，在查询结果大于jdbcScanFetchSize时，出现批量查询不结束的情况。绕过方法：将jdbcScanFetchSize设置为一个大值，例如100000。

要彻底解决该问题，需要升级 Hologres 实例版本至 Hologres V2.0 及以上版本。

P1

Binlog作业有状态恢复时，抛出the table id parsed from checkpoint is different from the current table id的异常。原因是作业在之前运行过程中，进行了TRUNCATE或者重建表，而checkpoint中存储的是作业首次启动时的table id，导致与当前的table id不匹配。

8.0.4

8.0.9

从8.0.9版本开始，不再强制检查table id，而是仅输出WARN级别日志，以允许作业从最新状态恢复。但仍然不推荐在binlog表作业运行时进行重建表操作。对binlog来说，这类操作会导致之前的binlog完全丢失。

P2

作业运行过程中发生反压，查看ThreadDump发现Execution Pool卡在close或者start方法。原因是共享连接池多个client复用同一个连接池时，可能存在死锁，导致连接池无法正常关闭。

8.0.5

8.0.9

建议升级版本。

P2

如果对源表进行了DELETE FROM操作之后进行全增量消费，由于增量阶段没有数据，导致全量阶段会从头开始消费所有的binlog。

8.0.6及之前版本

8.0.7

建议升级或者指定起始时间进行增量消费。

P1

维表字段数量较多时，作业上线超时。

8.0.6

8.0.7

建议升级版本。

P0

当在批量源表中开启enable_filter_push_down参数后，Filter不生效，导致读取的数据包含了一些应该被过滤掉的数据。

8.0.5及之前版本

8.0.6

建议升级版本。

P0

通过FixedFE（对应Connector中的jdbc_fixed模式）写入JSON或JSONB类型数据到Hologres时，如果数据源有不合法的JSON或JSONB字段，会导致当前连接所在FE节点重启，当前FE的连接中断。

8.0.5及之前版本

暂无

如果无法保证上游JSON或JSONB字符串的合法性，建议使用JDBC模式写入。

P1

JDBC维表一对多Join时，内部出现的连接失败等异常无法抛出，表现为异步Join节点反压且数据不再流动，发生概率较小。

6.0.7及之前版本

8.0.3

建议升级版本，也可以通过重启作业暂时恢复。

P1

通过JDBC模式消费Binlog时，存在内存泄漏问题。可能的表现为作业启动时消费速率较高，之后持续下降。

6.0.7及之前版本

6.0.7

建议升级版本，对于DataStream作业，需要使用6.0.7-1版本的依赖。

P0

JDBC模式写入的定时Flush（由jdbcWriteFlushInterval参数控制）捕获的异常在下条数据写入时才会抛出，当用户写入流量较小时，异常被捕获还未抛出期间有可能进行成功的checkpoint。下次失败时会从这个不合理成功的checkpoint恢复，从而可能出现丢数据的情况。

6.0.6及之前版本

6.0.7

流量较小时容易出发此缺陷，建议升级版本，或者调整jdbcWriteFlushInterval时间大于checkpoint的间隔时间。

P2

JDBC模式消费Binlog不设置Slotname时，系统会自动创建一个Slotname。若当表名含有特殊字符或Schema名称时，自动创建非法Slotname，无法使用，且作业将会抛出syntax error异常。

6.0.6

6.0.7

建议升级版本，对于DataStream作业，需要使用6.0.7-1版本的依赖。

P1

用户作业中不同的Hologres实例或数据库使用相同的connectionPoolName时，出现找不到表等异常。

6.0.6及之前版本

6.0.7

同一个作业使用的Hologres实例或者数据库不同时，使用不同的connectionPoolName。

P1

维表字符串类型有null值时，会抛出NPE异常。

6.0.6

6.0.7

建议升级版本。

P0

Hologres源表默认开启Filter下推，但如果作业也使用了Hologres维表，且写入的DML中包含对维表非主键字段的过滤条件时，维表的Filter也会被错误地下推，可能导致维表Join出现错误结果。

6.0.3~6.0.5

6.0.6

建议升级版本。

P0

多个结果表的mutatetype不同，但使用同一个connectionPoolName参数以复用连接池时，可能出现mutatetype配置被覆盖的情况，导致配置不生效。

6.0.2及之前版本

6.0.3

将全部结果表的mutatetype都设置为InsertOrUpdate，或者为mutatetype不同的表设置不同的connectionPoolName。

P1

Binlog源表DDL中声明hg_binlog_timestamp_us字段时抛出NPE异常。

6.0.2

6.0.3

不使用所述字段，或者升级版本。

P1

汇报Metrics会影响结果表的写入性能，排查表现为Sink节点的thread dump会卡在reportWriteLatency。

4.0.15~4.0.17

4.0.18

选择没有受影响的版本。

P2

批量源表读取字符或字符数组类型，其中比较特殊字符时，解析字符串失败。

4.0.14及之前版本

4.0.15

清理源表中的脏数据，或者升级版本。

P2

全增量一体化源表DDL中声明hg_binlog等Binlog独有字段时，消费不到全量数据。

4.0.13

4.0.14

不使用全增量功能，或者升级版本。