本文介绍2025年8月8日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2025年8月8日正式对外发布实时计算Flink版新版本。本次更新包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧
引擎侧正式发布VVR 11.2版本。该版本基于Apache Flink 1.20.2内核深度定制，在继承社区能力的基础上进行了优化和增强。
Flink SQL
本次版本显著扩展了SQL内置函数库，新增了多个内置函数，涵盖了字符串处理、JSON处理和正则表达式等多个领域。包括：
标量函数：
字符串处理：PRINTF、TRANSLATE、ELT、BTRIM、STARTSWITH、ENDSWITH
JSON处理：JSON_QUOTE、JSON_UNQUOTE
正则表达式：REGEXP_SUBSTR、REGEXP_INSTR、REGEXP_COUNT、REGEXP_EXTRACT_ALL
算术：UNHEX
类型支持
新增了Variant类型支持。
Table API
新增对Hive方言的支持。
大语言模型函数
对超过Context窗口大小的消息后续处理行为实现可配置。
连接器增强
MySQL CDC变长字符串（varchar）处理得到优化。
CDC YAML格式新增对Kafka canal-json和es-ts时间戳格式的支持。
AnalyticDB MySQL的INSERT IGNORE语法。
安全增强
加强了数据访问的安全性，Paimon和OSS连接器支持通过RAM角色进行授权访问。
性能增强
MongoDB CDC 解析Binlog支持并发，Redis维表支持异步关联。
功能介绍
特性 | 详情 | 相关文档 |
MySQL CDC变长字符串优化 | 优化了MySQL CDC对变长字符串（varchar）的处理机制，提升了数据同步性能和稳定性。 | |
CDC YAML格式增强 | 新增对Kafka的canal-json格式和es-ts时间戳格式的支持，简化了CDC场景的配置工作，提升了数据同步的灵活性。 | |
Table API的Hive方言支持 | 在Table API的作业中可以使用Hive方言操作数据。 | |
Paimon/OSS Connector RAM认证 | 支持通过RAM角色进行Paimon连接器的访问授权，用户无需指定AK/SK，提升了数据访问的安全性，简化了权限管理。 | |
ADB MySQL支持INSERT IGNORE | AnalyticDB MySQL连接器支持INSERT IGNORE语法，增强了数据写入的容错能力。 | |
Redis 连接器维表异步性能优化 | 优化Redis连接器的性能和功能，提升缓存访问效率和稳定性。 | |
PyFlink 可以直接使用内置连接器 | 改善Python开发体验，提供更好的开发支持。 | |
MongoDB CDC 并发解析OpLog | 提升数据同步的稳定性和可靠性。 | |
Flink SQL内置函数扩展 | 新增了多个内置函数，涵盖了字符串处理、JSON处理和正则表达式等多个领域，极大丰富了SQL处理能力。 | |
数据摄入 Kafka -> CDC Schema自动演化支持 | 支持在Kafka和Paimon之间的自动Schema演化，增强了数据模型的灵活性和适应性。 | |
VVR SQL Variant类型 | 新增对Variant类型的支持，增强了数据类型的灵活性。 | |
AI SQL 函数 Context Window 限制行为支持配置 | 对于超出大模型Context Window大小的消息，可以根据不同的策略选择是否丢弃或者裁剪这些数据，并可以指定是否记录日志。 |
主要缺陷修复
本次发布修复了以下主要问题：
连接器缺陷修复
修复Kafka时区转换及数据同步问题。
修复MySQL数据库权限认证异常问题。
修复Paimon Avro格式时间戳精度校验问题。
修复DLF数据访问Token过期问题。
修复MySQL 8.0版本兼容性问题。
SQL及转换缺陷修复
修复Paimon Like语法解析问题。
修复YAML日期处理和REGEXP_REPLACE函数问题。
修复Schema Registry空指针异常问题。
稳定性及性能优化
修复任务失败重启时的元数据一致性问题。
修复作业异常退出时的资源清理问题。
修复Paimon checkpoint标记崩溃问题。
优化连接器重试机制，提升作业稳定性。