2024-01-04版本

本文为您介绍2024年01月04日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度,具体升级计划,请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能,说明您的账号暂未完成灰度。如果您需要尽快升级,请提交工单告知我们,我们将结合实际情况进行安排。

概述

2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5,包含连接器更新、性能优化以及缺陷修复。

该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中,我们对MySQL源表CDC在指定位点(指定偏移量和时间戳)后的数据同步速度进行了优化;对于MongoDB连接器,源表CDC支持表结构变更同步,并新增了对MongoDB作为维表的支持;JDBC连接器新增对Postgres SQL的UUID和JSONB类型的支持;StarRocks结果表支持JSON类型;另外Hologres连接器中的JDBC模式支持攒批时不进行去重,满足在一定吞吐优化下的数据完整性;新增了对PolarDB Postgres (兼容Oracle)版作为结果表写入支持;缺陷修复上,我们修复了Apache Flink 1.17.2版本上发现的多个缺陷(包括Apache社区已修复待发布的缺陷),同时还修复了在引擎上发现的问题,旨在提高系统的稳定性和可靠性。

我们将在全网进行分步骤的灰度,灰度完毕后,欢迎您将作业使用的引擎升级至此版本,具体操作请参见作业引擎版本升级。期待您的使用体验反馈!

主要功能介绍

特性

详情

相关文档

优化MySQL CDC指定偏移量或者时间戳进行启动的数据读取速度

可以更快速地定位到开始要读取的数据,减少等待时间。

MySQL

MongoDB作为源表支持表结构变更同步和自动加列

MongoDB作为源表时可以通过CTAS或CDAS语句将表结构变更同步到下游存储,支持自动加列。

支持将MongoDB作为维表

MongoDB连接器支持作为维表进行关联查询。

MongoDB

支持MongoDB Catalog

通过Catalog的方式注册元数据后,支持Schema推导,在创建SQL时,无需再使用DDL创建MongoDB源表。

管理MongoDB Catalog(公测中)

JDBC连接器支持更多数据类型

新增对PostgreSQL的UUID和JSONB类型的支持。

JDBC

Hologres连接器支持SSL连接、Bulk Load模式写入和攒批去重。

  • 通过SSL连接,整体读写链路将更加安全。

  • Bulk Load模式写入可以大幅度减少对于Hologres写入的压力。

  • jdbc及jdbc_fixed模式支持攒批去重,可以有效提高数据一致性和数据库性能、降低网络开销。

实时数仓Hologres

JDBC模式消费Binlog不再需要设置slotname

Hologres 2.1版本开始,JDBC模式消费Binlog不再需要设置slotname。

新增支持PolarDB Postgres (兼容Oracle)连接器

支持将数据写入PolarDB Postgres(兼容Oracle)。

PolarDB PostgreSQL版(Oracle语法兼容1.0)

StarRocks支持更多数据类型

StarRocks结果表支持JSON类型。

暂无

RocketMQ结果表支持partitionField参数

支持通过partitionField参数指定字段名,将该字段作为分区列。在数据写入时,会根据该列值计算Hash值,Hash值相同的数据会写入同一个分区。

云消息队列 RocketMQ 版

Elasticsearch连接器支持8.x和忽略text类型字段的.keyword后缀

  • 支持将数据写入8.x版本的Elasticsearch

  • 维表支持忽略text类型字段的.keyword后缀

Elasticsearch

MySQL连接器支持忽略NULL值

Sink支持忽略更新写入数据中的NULL值。

MySQL