本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2024年4月1日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.6，该版本是基于Apache Flink 1.17.2的企业级Flink引擎，主要包含以下变更：
在实时湖仓方面，本版本主要支持了将数据写入OSS-HDFS、并且支持通过CTAS和CDAS语句写入Paimon时，可以创建动态分桶的Paimon表。
在连接器方面，本版本重点发布了针对MySQL CDC同步至Hologres出现的时差问题；Hologres连接器支持了timestamp_ltz类型；MongoDB CDC支持CTAS和CDAS；加强MongoDB整库同步能力；MaxCompute连接器正式支持以Upsert方式写入MaxCompute Transaction Table2.0类型表；对于实时构建Elasticsearch索引，本次发布支持了指定列作为路由Key；对Kafka的写入，支持了对JSON格式中某一列为空数据时不写入NULL的能力，优化了对Kafka存储容量的占用，同时支持了根据Header进行等值过滤的能力，帮您进行数据分流处理；另外，对于Hive Catalog支持了OSS-HDFS作为Hive写入端的存储；对于OceanBase支持了源表CDC读取能力，帮您在OceanBase上构建实时数仓。
在SQL增强方面，本版本提供了CUMULATE对更新流WindowAggregate新聚合算子的支持。至此版本，VVR完成了TUMBLE、HOP、CUMULATE和SESSION对更新流的完整支持，开源Flink 1.18及以下版本窗口函数暂未支持对更新流进行窗口聚合。
在缺陷修复方面，本版本重点修复了在使用ClickHouse结果表时，shardWrite参数未生效与在极端情况下作业快照无法生成等问题，旨在提高系统的稳定性和可靠性。
该版本主要特性详情及相关文档发布详见下方表格，我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！
主要功能介绍
特性 | 详情 | 相关文档 |
Hologres连接器支持timestamp_ltz类型 | 为处理和分析时间相关的数据提供了更大的灵活性和准确性。 | |
MaxCompute连接器支持能力提升 |
| |
Elasticsearch结果表支持指定列作为路由Key | 支持指定路由Key帮您以性能更好的方式使用Elasticsearch。 | |
CUMULATE对更新流WindowAggregate新聚合算子的支持 | 增强CDC数据流的窗口聚合能力。 | |
Kafka写入JSON数据空列不填充NULL，同时支持根据Header进行等值过滤的能力 | 优化了对Kafka存储容量的占用，帮您进行数据分流处理。 | |
OceanBase支持源表CDC读取能力 | 您可以在OceanBase上构建分层的实时数仓。 | |
Hive Catalog支持OSS-HDFS作为Hive写入端的存储 | 方便您集成OSS-HDFS构建Hive数仓。 | |
基于DLF的Hive Catalog支持创建非Hive表 | 您可以统一使用Hive Catalog管理不同的类型的表。 | |
Paimon支持能力提升 |
| 暂无 |
MongoDB CDC支持CTAS和CDAS | 支持整库同步MongoDB中的数据到下游进行实时处理，同时也支持表结构变更自动同步。 | |
Postgres CDC在全量同步阶段支持并发读取 | 加速全量数据的同步。 | |
OSS加强认证鉴权能力 | 在指定文件系统路径后，还需要配置Bucket鉴权信息，才能正常读写指定文件系统路径下的数据。 | |
StarRocks连接器支持JSON类型 | 满足您对JSON类型数据的写入需求。 | 暂无 |
SLS连接器支持将NULL值作为空字符串写入日志 | 帮助您更轻松地处理后续数据中包含NULL值的字段。 |
主要缺陷修复
修复了ClickHouse结果表指定shardWrite参数未生效的问题。
修复了在极端情况下作业快照无法生成的问题。
修复了Apache Flink 1.17.2版本的所有缺陷，详情请参见Apache Flink 1.17.2 Release Announcement。