本文为您介绍2024年9月11日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2024年9月11日，我们正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。
平台侧
本次平台功能更新我们聚焦于提升您的使用体验和系统稳定性，同时增强安全性和运维效率。以下是本次更新的主要亮点：
支持Flink CDC 3.0的YAML数据摄取作业开发：Flink CDC作为数据库数据实时同步的方案，从诞生到现在受到了广大开发者和企业用户的支持和应用。随着阿里巴巴向Apache基金会正式捐赠Flink CDC项目，也标志着Flink CDC从捕获数据源变更的Flink Source变为以Flink为基础的流式ETL数据摄取框架。因此，新增数据摄入模块，提升对整个Flink CDC能力的支持。
任务编排能力优化：丰富了任务编排的报警能力，支持通过云监控进行钉钉、电话等多种方式告警；同时支持在任务编排中使用动态变量，以解决周期性运行同一份代码时需要让代码按预设的时间周期进行计算的问题。通过不断加强任务编排能力期待能让您更好地使用该功能。
OpenAPI开放：新增队列管理、Session集群、定时调优相关API，您可以升级到最高版本以使用这些API。
密钥托管能力扩展：随着JAR作业数量的增加，原本被广泛应用于SQL作业的密钥托管能力也被JAR作业所需，因此增加了对JAR和Python作业使用密钥的支持。同时某些信息（如IP地址）可能会被多个作业使用但不属于密钥的范畴，为了解决这类问题，密钥托管正式更名为变量管理，包含了原有的密钥托管以及对明文变量的管理，以更好地体现该功能的能力。
控制台一级目录调整：随着更多能力模块的加入，原有平铺的目录展示方式无法更直观地让您定位到需要的模块。因此，对开发控制台左侧导航栏的排布进行了优化，提高了导航的直观性和易用性，让您更轻松地找到所需的功能。
引擎侧
引擎侧正式对外发布VVR 8.0.9，该版本是基于Apache Flink 1.17.2的企业级Flink引擎，主要包含以下变更：
MySQL CDC连接器增加了Binlog解析线程参数，方便您根据需要提升Binlog并发解析能力。
Kafka连接器增加对Zstandard（Zstd）压缩算法的依赖，提升了数据传输效率，同时新增内置Protobuf格式支持，便于处理结构化数据。
Redis连接器的Sink性能得到优化，处理速度得到提升，同时支持配置连接池参数，提供了更灵活的连接管理。
Paimon Sink支持Delete Action，在局部更新的行为指定上更加易用。
Flink批作业支持使用Celeborn远程Shuffle服务，可以将Shuffle数据存储在高性能集群中，突破Flink节点磁盘容量限制，增强超大规模数据处理能力，同时保持作业稳定和经济效益。
该版本主要特性详情及相关文档详见下方表格，我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！
主要功能介绍
特性 | 详情 | 相关文档 |
新增数据摄入模块 | 基于Flink CDC 3.0，通过开发YAML作业的方式可以实现将数据从源端同步到目标端的数据摄入工作。 | |
对接DLF 2.0 | 创建Paimon Catalog时，当元数据存储类型选择DLF且使用DLF为2.0时，无需您再填写AccessKey等信息。 | |
开通时访问相关权限优化 | 首次开通Flink工作空间时，访问资源授权增加DLF相关权限，用于访问DLF相关Catalog，提升DLF 2.0使用体验。已开通用户已默认增加DLF权限，无需您额外关注。 | |
快速创建Session集群 | 运行查询脚本时（查询脚本页面），当无可用Session集群时，支持通过配置关键参数快速创建执行环境，直接运行脚本。 | 暂无 |
任务编排能力优化 | 丰富了工作流的报警能力，支持通过云监控进行钉钉、电话等多种方式的事件告警。 通过支持配置动态变量按预设的时间周期进行数据计算。 | |
密钥托管能力扩展 | 密钥托管更名为变量管理，支持设置明文或密文变量，支持JAR和Python作业使用变量。 | |
OpenAPI开放 | 新增队列管理、Session集群或定时调优相关API。 | |
控制台一级目录调整 | 引入数据摄入等新模块，并优化了开发控制台左侧导航栏布局，方便您更快地找到所需要的模块。 | 暂无 |
MySQL连接器性能增强 | 开放对Binlog解析的线程配置，提升异步解析能力。 | |
Kafka连接器性能增强 |
| |
Redis连接器性能增强 |
| |
SLS连接器重构 |
| |
Paimon连接器增强 | 支持配置收到回撤（-D/-U）类型消息时的期望语义，增强Delete Action处理性能。 | |
MongoDB扩展维表关联读取能力 | 维表支持读取内置 | |
StarRocks连接器稳定性增强 | 优化网络异常情况下的写入重试机制，调整了 | |
HBase连接器优化 | 支持在写入操作中忽略 | |
Lindorm连接器优化 | 新增结果表数据写入特性，允许在更新操作中排除特定列。 | |
支持远程Shuffle服务 | Flink批作业在开启远程Shuffle服务（公测阶段免费开放）后，Shuffle数据将存储到高性能的Apache Celeborn集群中，作业不再受限于Flink计算节点的磁盘容量，从而增强超大规模数据的处理能力，同时保持作业的高稳定性和成本效益。 |
主要缺陷修复
修复了MySQL CDC指定消费位点消费，在主从切换发生后，无法正常从Checkpoint恢复的问题。
修复了StarRocks连接器在VVR 8.0.8中使用CTAS时报java.lang.ClassNotFoundException的问题。
修复了控制台数据连接中Elasticsearch连接器支持版本缺少V8版本的问题。
优化了Hologres连接器在启动时强制检查Table ID的问题。