文档

2024-04-01版本

更新时间:

本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网逐步进行灰度,预计3-4周完成全部升级,具体计划请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能,说明您的账号暂未完成灰度。如需尽快升级,请提交工单告知我们,我们将结合实际情况进行安排。

概述

2024年4月1日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.6,该版本是基于Apache Flink 1.17.2的企业级Flink引擎,主要包含以下变更:

  • 在实时湖仓方面,本版本主要支持了将数据写入OSS-HDFS、并且支持通过CTAS和CDAS语句写入Paimon时,可以创建动态分桶的Paimon表。

  • 在连接器方面,本版本重点发布了针对MySQL CDC同步至Hologres出现的时差问题;Hologres连接器支持了timestamp_ltz类型;MongoDB CDC支持CTAS和CDAS;加强MongoDB整库同步能力;MaxCompute连接器正式支持以Upsert方式写入MaxCompute Transaction Table2.0类型表;对于实时构建Elasticsearch索引,本次发布支持了指定列作为路由Key;对Kafka的写入,支持了对JSON格式中某一列为空数据时不写入NULL的能力,优化了对Kafka存储容量的占用,同时支持了根据Header进行等值过滤的能力,帮您进行数据分流处理;另外,对于Hive Catalog支持了OSS-HDFS作为Hive写入端的存储;对于OceanBase支持了源表CDC读取能力,帮您在OceanBase上构建实时数仓。

  • 在SQL增强方面,本版本提供了CUMULATE对更新流WindowAggregate新聚合算子的支持。至此版本,VVR完成了TUMBLE、HOP、CUMULATE和SESSION对更新流的完整支持,开源Flink 1.18及以下版本窗口函数暂未支持对更新流进行窗口聚合。

  • 在缺陷修复方面,本版本重点修复了在使用ClickHouse结果表时,shardWrite参数未生效与在极端情况下作业快照无法生成等问题,旨在提高系统的稳定性和可靠性。

该版本主要特性详情及相关文档发布详见下方表格,我们将在全网进行分步骤的灰度,灰度完毕后,欢迎您将作业使用的引擎升级至此版本,具体操作请参见作业引擎版本升级。期待您的使用体验反馈!

主要功能介绍

特性

详情

相关文档

Hologres连接器支持timestamp_ltz类型

为处理和分析时间相关的数据提供了更大的灵活性和准确性。

实时数仓Hologres

MaxCompute连接器支持能力提升

  • 支持使用Upsert Tunnel模式写入MaxCompute Transaction Table 2.0类型的表。

  • 支持指定Schema,指定Schema后,MaxCompute连接器可以对开启Schema功能的MaxCompute项目下的表进行读取和写入。

大数据计算服务MaxCompute

Elasticsearch结果表支持指定列作为路由Key

支持指定路由Key帮您以性能更好的方式使用Elasticsearch。

Elasticsearch

CUMULATE对更新流WindowAggregate新聚合算子的支持

增强CDC数据流的窗口聚合能力。

Queries语句

Kafka写入JSON数据空列不填充NULL,同时支持根据Header进行等值过滤的能力

优化了对Kafka存储容量的占用,帮您进行数据分流处理。

OceanBase支持源表CDC读取能力

您可以在OceanBase上构建分层的实时数仓。

OceanBase(公测中)

Hive Catalog支持OSS-HDFS作为Hive写入端的存储

方便您集成OSS-HDFS构建Hive数仓。

管理Hive Catalog

基于DLF的Hive Catalog支持创建非Hive表

您可以统一使用Hive Catalog管理不同的类型的表。

Paimon支持能力提升

暂无

MongoDB CDC支持CTAS和CDAS

支持整库同步MongoDB中的数据到下游进行实时处理,同时也支持表结构变更自动同步。

Postgres CDC在全量同步阶段支持并发读取

加速全量数据的同步。

Postgres CDC(公测中)

OSS加强认证鉴权能力

在指定文件系统路径后,还需要配置Bucket鉴权信息,才能正常读写指定文件系统路径下的数据。

对象存储OSS

StarRocks连接器支持JSON类型

满足您对JSON类型数据的写入需求。

暂无

SLS连接器支持将NULL值作为空字符串写入日志

帮助您更轻松地处理后续数据中包含NULL值的字段。

日志服务SLS

主要缺陷修复

  • 修复了ClickHouse结果表指定shardWrite参数未生效的问题。

  • 修复了在极端情况下作业快照无法生成的问题。

  • 修复了Apache Flink 1.17.2版本的所有缺陷,详情请参见Apache Flink 1.17.2 Release Announcement

  • 本页导读 (1)