本文介绍2025年8月8日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2025年8月8日正式对外发布实时计算Flink版新版本。本次更新包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧
引擎侧正式发布VVR 11.2版本。该版本基于Apache Flink 1.20.2内核深度定制，在继承社区能力的基础上进行了优化和增强。
Flink SQL
本次版本显著扩展了SQL内置函数库，新增了多个内置函数，涵盖了字符串处理、JSON处理和正则表达式等多个领域。包括：
标量函数：
字符串处理：PRINTF、TRANSLATE、ELT、BTRIM、STARTSWITH、ENDSWITH
JSON处理：JSON_QUOTE、JSON_UNQUOTE
正则表达式：REGEXP_SUBSTR、REGEXP_INSTR、REGEXP_COUNT、REGEXP_EXTRACT_ALL
算术：UNHEX
类型支持
新增了Variant类型支持。
Table API
新增对Hive方言的支持。
大语言模型函数
对超过Context窗口大小的消息后续处理行为实现可配置。
连接器增强
MySQL CDC变长字符串（varchar）处理得到优化。
CDC YAML格式新增对Kafka canal-json和es-ts时间戳格式的支持。
AnalyticDB MySQL的INSERT IGNORE语法。
安全增强
加强了数据访问的安全性，Paimon和OSS连接器支持通过RAM角色进行授权访问。
性能增强
MongoDB CDC 解析Binlog支持并发，Redis维表支持异步关联。
平台侧
新增能力
批作业支持多语句执行 可在单个作业中运行多个 DDL/DML 语句，完成建表、计算、删表全流程。
物化表支持定时回刷 可周期性刷新历史分区，修复数据迟到，保障最终一致性。
Session 集群默认定时释放 新建集群空闲超 30 分钟自动释放，提升资源利用率。
自动调优支持禁止变更时段 关键时段禁止资源变更，仅保留调优建议，保障业务稳定。
Git 集成全面升级 支持云效等主流 Git 服务，目录结构拉取，错误提示增强。
权限更细化 支持数据查询细粒度。
体验优化
支持图形化创建、删除和修改AI模型，可以在元数据中心VVP Catalog目录下更好的管理相关的AI模型。
支持展示批作业CU*H的统计信息，通过该指标可以更好的反映批作业的运行性能。
支持任务编排界面通过名称模糊搜索已创建的工作流。
支持图形化创建Iceberg Catalog。
OpenAPI
本次发布包含2个新增API、2个废弃API及2项缺陷修复。请在升级集群并更新pom依赖至 1.8.0 后，再使用新功能。
原Resource和DeploymentTarget相关 API 无法操作混合计费集群，现已升级：
新增：
CreateDeploymentTargetV2UpdateDeploymentTargetV2
废弃：
原
CreateDeploymentTarget/UpdateDeploymentTarget（请尽快迁移）。Resource 对象增强：新增字段，支持混合计费模式配置。
优化
createDeploymentDraft/modifyDeploymentDraft接口，修复此前未校验 Label 数量上限的问题。优化
listDeployments接口，对排序参数sortName和sortOrder增加输入合法性校验：仅允许传入由字母（a-z, A-Z）和下划线（_） 组成的字符串。
功能介绍
特性 | 详情 | 相关文档 |
MySQL CDC变长字符串优化 | 优化了MySQL CDC对变长字符串（varchar）的处理机制，提升了数据同步性能和稳定性。 | |
CDC YAML格式增强 | 新增对Kafka的canal-json格式和es-ts时间戳格式的支持，简化了CDC场景的配置工作，提升了数据同步的灵活性。 | |
Table API的Hive方言支持 | 在Table API的作业中可以使用Hive方言操作数据。 | |
Paimon/OSS Connector RAM认证 | 支持通过RAM角色进行Paimon连接器的访问授权，用户无需指定AK/SK，提升了数据访问的安全性，简化了权限管理。 | |
ADB MySQL支持INSERT IGNORE | AnalyticDB MySQL连接器支持INSERT IGNORE语法，增强了数据写入的容错能力。 | |
Redis 连接器维表异步性能优化 | 优化Redis连接器的性能和功能，提升缓存访问效率和稳定性。 | |
PyFlink 可以直接使用内置连接器 | 改善Python开发体验，提供更好的开发支持。 | |
MongoDB CDC 并发解析OpLog | 提升数据同步的稳定性和可靠性。 | |
Flink SQL内置函数扩展 | 新增了多个内置函数，涵盖了字符串处理、JSON处理和正则表达式等多个领域，极大丰富了SQL处理能力。 | |
数据摄入 Kafka -> CDC Schema自动演化支持 | 支持在Kafka和Paimon之间的自动Schema演化，增强了数据模型的灵活性和适应性。 | |
VVR SQL Variant类型 | 新增对Variant类型的支持，增强了数据类型的灵活性。 | |
AI SQL 函数 Context Window 限制行为支持配置 | 对于超出大模型Context Window大小的消息，可以根据不同的策略选择是否丢弃或者裁剪这些数据，并可以指定是否记录日志。 |
主要缺陷修复
本次发布修复了以下主要问题：
连接器缺陷修复
修复Kafka时区转换及数据同步问题。
修复MySQL数据库权限认证异常问题。
修复Paimon Avro格式时间戳精度校验问题。
修复DLF数据访问Token过期问题。
修复MySQL 8.0版本兼容性问题。
SQL及转换缺陷修复
修复Paimon Like语法解析问题。
修复YAML日期处理和REGEXP_REPLACE函数问题。
修复Schema Registry空指针异常问题。
稳定性及性能优化
修复任务失败重启时的元数据一致性问题。
修复作业异常退出时的资源清理问题。
修复Paimon checkpoint标记崩溃问题。
优化连接器重试机制，提升作业稳定性。