Flink功能发布记录（2025年06月4日）_实时计算 Flink版(Flink)-阿里云帮助中心

本文介绍2025年6月4日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度，具体升级计划，请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2025年6月4日正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。

平台侧

本次平台功能更新聚焦于提升使用体验和运维效率。以下是本次更新亮点：

支持对接Git：支持对接GitHub、GitLab和Gitee远程仓库，优化代码版本管理流程，提升团队协作效率。
平台信息支持对接到SLS：支持将作业启动日志、运行事件及资源用量等数据持久化存储至SLS，便于进行历史数据查询与审计。
日志页面体验优化：优化日志输出配置，支持可视化操作配置，降低误操作风险。
云监控告警体验优化：告警通知内容中新增作业名称展示，便于快速定位异常作业。

引擎侧

引擎侧正式发布VVR 11.1版本。该版本基于Apache Flink 1.20.1内核深度定制，在继承社区能力的基础上进行了优化和增强。主要变更涵盖以下维度：

升级说明

请参见作业引擎版本升级和VVR版本号变更策略。

不兼容改动说明

Java SDK将默认采用JDK 11作为标准运行时环境，并正式终止对JDK 8版本的支持。Jar作业需使用JDK 11重新编译打包，SQL作业不受影响。
Hologres连接器优化系统架构，对部分历史参数进行了调整与移除。

全新能力

大模型实时向量构建与推理。
- 向量构建：深度集成百炼大模型，实现流式数据实时向量化，支撑推荐系统、智能搜索的实时特征计算。
- 文本推理：基于预训练模型实现文本摘要、机器翻译等动态内容生成功能，支持业务场景的智能化文本处理。
Milvus向量数据库写入链路支持。
- Milvus Sink Connector：支持将Flink处理后的向量数据实时写入Milvus向量数据库，满足AI场景下高频检索与大规模向量存储的性能要求。

能力增强

物化表支持定时回刷：支持Paimon物化表的定时回刷，能够按设定周期自动刷新整个链路的数据。
StarRocks维表实时Join：新增Flink与StarRocks维表的实时关联能力。
SLS CDC与Paimon模式演化：YAML CDC新增对SLS数据源的支持，并实现SLS到Paimon的Schema自动演化，简化数据湖仓场景中元数据管理复杂度。
数据摄入升级至Flink CDC 3.4：包含该版本的核心能力，增强数据采集功能体系。
数据摄入支持SLS Source：实现SLS到Paimon的数据流转及Schema动态演进功能。
数据摄入支持MaxCompute Sink：数据摄入功能新增MaxCompute Sink，支持TB级以上大规模数据写入。
FlinkSQL 集合操作优化：UNION ALL查询调试结果可以保留字段别名。

性能提升

PostgreSQL CDC全量数据读取优化：优化PostgreSQL CDC数据切片机制，采用异步切片与数据读取并行处理模式，显著提升全量数据读取性能。
云数据库Tair（Redis开源版）缓存策略优化：支持按天或固定时间段配置缓存更新黑名单，避免高峰期资源竞争，提升缓存服务的稳定性。

体验优化

Source/Sink数据量透出：支持监控Source和Sink任务的输入输出数据量，以帮助验证数据的完整性并进行作业调优。

安全提升

云数据库Tair（Redis开源版）支持TLS/SSL连接：增强连接器安全性，支持TLS/SSL加密连接模式，满足金融、政务等高安全等级场景的接入要求。
Parquet安全漏洞修复：升级Apache Parquet至1.15.1，修复Avro格式反序列化远程代码执行漏洞，消除数据处理环节的潜在安全风险。
MaxCompute身份标识上报：上报applicationName至MaxCompute服务端，以便精准追踪Flink作业对第三方服务的资源占用，从而提升跨系统资源访问的可审计性。

功能介绍

特性	详情	相关文档
支持对接Git	实时计算开发控制台支持对接GitHub、GitLab和Gitee远程仓库，支持拉取推送SQL代码和作业配置等基础操作，并内置冲突解决机制。	Git集成（公测中）
支持消息投递到SLS	支持将目标项目空间下的作业启动日志、运行事件及资源用量等数据投递到SLS。	消息投递
日志配置页面体验优化	在作业运维中，作业日志可以通过界面配置，将日志信息输出至其他数据存储（例如SLS、OSS或Kafka）。	配置作业日志输出
数据摄入支持MaxCompute Sink	支持MaxCompute连接器用于数据摄入YAML作业的开发，作为目标端进行数据写入。	大数据计算服务MaxCompute
数据摄入功能优化	`converter-after-transform`参数新增`FIELD_NAME_LOWER_CASE`转换器类型，自动将源表大写字段转为小写，减少数据清洗预处理步骤。	数据摄入开发参考
Elasticsearch连接器优化	允许字段为NULL时不覆盖ES已有数据，保留下游存储的字段值，增强数据写入的鲁棒性。	Elasticsearch
Hologres连接器优化	为优化系统架构、提升维护效率，对部分历史参数进行了调整与移除。不同版本在功能实现和使用方式上存在差异，请根据实际使用的VVR版本，参考对应配置文档进行适配，确保作业兼容性与运行稳定。	实时数仓Hologres 参数配置（VVR 11及以上版本）
MongoDB连接器优化	新增`ignore.delete-events.enabled`参数，支持在CDC过程中过滤MongoDB的Delete事件，减少无效数据同步压力，优化增量同步效率。	MongoDB
Mysql连接器优化	修改property-version参数默认值为1。	管理MySQL Catalog
Kafka连接器优化	新增`canal-json.infer-schema.strategy`参数，提供解析表结构时的解析策略，可通过解析JSON数据自动解析，或通过canal json数据中的sqlType数组解析。新增`json.decode.parser-table-id.fields`参数，支持解析JSON数据生成表结构字段。数据摄入结果表Debezium JSON格式新增`debezium-json.include-schema.enabled`参数，检测Debezium JSON消息是否包含Schema信息。	消息队列Kafka
RocketMQ连接器优化	新增`deliveryTimestampMode`相关的定时消息发送策略参数，支持灵活配置触发规则，提升消息系统在时序任务中的控制能力。	云消息队列 RocketMQ 版
云数据库Tair（Redis开源版）连接器优化	缓存策略ALL模式支持读取多值hashmap类型数据。新增`cacert.filepath`参数，支持数据链路TLS/SSL加密模式。 `cacheReloadTimeBlackList`参数支持定时每日时间段。	云数据库Tair（Redis开源版）
StarRocks连接器优化	支持兼容的列类型变更。新增Flink与StarRocks维表的实时关联能力，满足复杂实时分析场景中维表数据的动态关联需求。	StarRocks 支持的连接器
Paimon连接器优化	Paimon Catalog支持对接DLF 2.5，DLF 2.5在数据湖元数据加速和存储优化等方面具有显著的提升。支持通过PARSE_JSON和TRY_PARSE_JSON内置函数写入和消费VARIANT类型的数据，提升JSON数据查询以及处理性能。	管理Paimon Catalog Paimon表数据写入和消费
AnalyticDB PostgreSQL版（ADB PG）连接器优化	`writeMode`参数新增COPY模式。	云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）
新增Milvus连接器	Milvus是一个高度可扩展的向量数据库，专为处理大规模非结构化数据（如图像、文本和音频）设计。支持高效的相似性搜索，适用于推荐系统、图像检索、语义搜索等场景。	Milvus（公测中）
物化表优化	支持修改物化表SQL查询和连接器参数。支持创建物化表的工作流，执行周期性调度，以实现定时回刷功能。	创建及使用物化表管理工作流
FlinkSQL支持Hive Kerberos认证	支持通过SQL安全访问Hive数据，集成Kerberos认证协议，实现客户端与服务端的双向身份验证及加密传输，有效防止数据窃取与越权访问。	注册Hive Kerberos集群 Flink SQL作业快速入门
PyFlink Docker镜像升级	升级PyFlink的基础Docker镜像，提高了对不同Python版本和glibc版本的兼容性。	暂无。
窗口函数优化	支持Flink 1.20版本全新的SESSION WINDOW行为，相较于VVR 8.x版本SESSION WINDOW（建议弃用）与聚合语句耦合的强制要求，该版本提供了更为灵活的使用场景。	窗口聚合
SelectDB正式内置	从公测版本正式迭代为稳定高效的内置版本。	SelectDB
Table API作业优化	Table API作业支持通过SQL文本方式调用内置函数。	支持的函数
大模型实时向量构建与推理	支持AI模型的DDL数据定义语句。支持AI函数ML_PREDICT，在实时计算中使用模型对数据进行推断。支持对接百炼大模型。	模型设置 ML_PREDICT 基于大模型的实时数据分析快速入门

主要缺陷修复

连接器缺陷修复

修复SLS新架构转义字符。
修复RocketMQ延迟Topic消息丢失问题。
修复云数据库Tair（Redis开源版）双库写入冲突问题。
修复Hologres维表JOIN空指针异常。
修复Paimon主键表写入。
修复Lindorm维表JOIN只能匹配一行的问题。

SQL及转换缺陷修复

修复YAML转换操作符，解决Calcite解析器未识别字符串比较操作符导致的编译错误。
修复CTAS作业Schema合并冲突。
修复Hive Catalog访问非Hive表的权限限制问题。

稳定性及性能优化

修复Paimon Sink关闭阶段耗时过长问题。
修复表过滤异常，支持debezium.table.exclude.list参数绕行。
修复Minibatch导致的数据不一致问题。
修复PyFlink Table API对VVR内置函数的调用兼容性问题。