本文介绍2025年10月13日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2025年10月13日正式对外发布实时计算Flink版新版本。本次更新包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧
引擎侧持续迭代,进一步增强了对复杂数据类型、AI功能以及多种数据源的支持能力。
数据摄入
Kafka源端:Canal-JSON格式支持MySQL_TYPE解析。
连接器
Hologres连接器:支持读取指定的Binlog类型。
StarRocks连接器:SQL Connector升级,同步社区Connector Release 1.2.11版本。
Lindorm连接器:维表支持一对多Join。
MaxCompute连接器:支持设置时区。
SLS连接器:新增
processor
参数,支持在消费前通过SLS消费处理器进行数据过滤,以节约成本并提高处理速度。
AI功能
新增
Vector_search
通过结合Mivlus进行实时向量近似检索。AI Function:提供更多可配置参数,增强功能灵活性。
SQL及数据管理
支持将JSON String转换为JSON Array。
StarRocks Catalog:使用Starrocks Catalog时,无需再显式传递URL信息。
性能优化
MySQL连接器:优化了布尔类型的下推性能。
Hologres连接器:消费Binlog时支持projection下推与数据压缩。
MaxCompute连接器:优化了写入普通表时对Array等复杂类型的性能。
平台侧
新增能力
美国(硅谷)地域新增支持使用任务编排功能。
乌兰察布地域ARM架构下新增支持使用混合计费模式。
平台体验优化
购买体验提升
取消 CU 限制:在扩容、新购及按量转包年等场景中,取消包年包月集群超过 1000 CU 的白名单限制,支持大规模作业的弹性扩缩容,提升新购灵活性。
优惠券全面支持:在续费、按量转包年、扩容等场景均可使用优惠券,增强用户购买灵活性与优惠权益体验。
可观测性增强
统一 GC 指标展示:新增对 ParallelGC 与 CMS 等垃圾回收类型的指标适配,实现统一监控与管理,提升操作一致性与可观测性。
新增
busyTimePerSecond
指标:精准反映任务负载情况,助力用户识别性能瓶颈、合理分配资源,保障作业稳定性。
权限模型优化
打通文件夹操作权限与作业草稿、数据查询权限,解决因权限缺失导致无法创建文件夹的问题,实现权限体系联动与操作顺畅。
物化表功能改进
编辑物化表时支持同步升级引擎版本,新增版本对比功能,并自动触发部署作业更新,显著提升操作便捷性与配置一致性。
消息投递灵活配置
支持用户按需自定义消息投递范围,实现精细化投递控制,在满足业务需求的同时有效优化投递成本。
功能发布列表
功能名称 | 功能描述 | 参考文档 |
Hologres批作业并发写入 | 支持reshuffle后并发写入带主键的Hologres表,提升写入吞吐。 | |
Hologres Binlog消费优化 | 消费Binlog时支持projection下推与数据压缩,降低网络和计算开销。 | |
Hologres指定Binlog类型 | 支持用户指定读取的Binlog类型,满足更精细的数据同步需求。 | |
Kafka Canal-JSON MySQL_TYPE解析 | Kafka Source的Canal-JSON格式支持解析MySQL原生类型。 | |
JSON String转JSON Array | Flink SQL支持将JSON字符串直接转换为JSON数组类型。 | |
AI Vector Search | 新增AI函数,支持向量检索功能。 | |
MaxCompute时区设置 | MaxCompute连接器支持自定义时区,方便跨时区数据处理。 | |
SLS消费处理器(Processor) | 通过 |
主要缺陷修复
本次发布修复了以下主要问题:
连接器缺陷修复
修复PostgresSQL CDC读取数据卡死的问题。
修复Kafka连接器带有时区属性的时间戳转换丢失时区问题。
修复Lindorm维表Join时空指针异常。
修改paimon表参数配置错误后查看和删除该表报错Could not find any factory for identifier 'last_not_null_value' 。
SQL缺陷修复
修复部分SQL作业数据血缘不显示的缺陷。
修复双流left join算子多次撤回消息导致下发结果异常。