2025-10-13版本

本文介绍20251013日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度,具体升级计划,请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能,说明您的账号暂未完成灰度。如果您需要尽快升级,请提交工单告知我们,我们将结合实际情况进行安排。

概述

20251013日正式对外发布实时计算Flink版新版本。本次更新包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。

引擎侧

引擎侧持续迭代,进一步增强了对复杂数据类型、AI功能以及多种数据源的支持能力。

数据摄入

Kafka源端:Canal-JSON格式支持MySQL_TYPE解析。

连接器

  • Hologres连接器:支持读取指定的Binlog类型。

  • StarRocks连接器:SQL Connector升级,同步社区Connector Release 1.2.11版本。

  • Lindorm连接器:维表支持一对多Join。

  • MaxCompute连接器:支持设置时区。

  • SLS连接器:新增processor参数,支持在消费前通过SLS消费处理器进行数据过滤,以节约成本并提高处理速度。

AI功能

  • 新增Vector_search通过结合Mivlus进行实时向量近似检索。

  • AI Function:提供更多可配置参数,增强功能灵活性。

SQL及数据管理

  • 支持将JSON String转换为JSON Array。

  • StarRocks Catalog:使用Starrocks Catalog时,无需再显式传递URL信息。

性能优化

  • MySQL连接器:优化了布尔类型的下推性能。

  • Hologres连接器:消费Binlog时支持projection下推与数据压缩。

  • MaxCompute连接器:优化了写入普通表时对Array等复杂类型的性能。

平台侧

新增能力

  • 美国(硅谷)地域新增支持使用任务编排功能。

  • 乌兰察布地域ARM架构下新增支持使用混合计费模式。

平台体验优化

  • 购买体验提升

    • 取消 CU 限制:在扩容、新购及按量转包年等场景中,取消包年包月集群超过 1000 CU 的白名单限制,支持大规模作业的弹性扩缩容,提升新购灵活性。

    • 优惠券全面支持:在续费、按量转包年、扩容等场景均可使用优惠券,增强用户购买灵活性与优惠权益体验。

  • 可观测性增强

    • 统一 GC 指标展示:新增对 ParallelGC 与 CMS 等垃圾回收类型的指标适配,实现统一监控与管理,提升操作一致性与可观测性。

    • 新增busyTimePerSecond指标:精准反映任务负载情况,助力用户识别性能瓶颈、合理分配资源,保障作业稳定性。

  • 权限模型优化

    打通文件夹操作权限与作业草稿、数据查询权限,解决因权限缺失导致无法创建文件夹的问题,实现权限体系联动与操作顺畅。

  • 物化表功能改进

    编辑物化表时支持同步升级引擎版本,新增版本对比功能,并自动触发部署作业更新,显著提升操作便捷性与配置一致性。

  • 消息投递灵活配置

    支持用户按需自定义消息投递范围,实现精细化投递控制,在满足业务需求的同时有效优化投递成本。

功能发布列表

功能名称

功能描述

参考文档

Hologres批作业并发写入

支持reshuffle后并发写入带主键的Hologres表,提升写入吞吐。

参数配置(VVR 11及以上版本)

Hologres Binlog消费优化

消费Binlog时支持projection下推与数据压缩,降低网络和计算开销。

Hologres指定Binlog类型

支持用户指定读取的Binlog类型,满足更精细的数据同步需求。

Kafka Canal-JSON MySQL_TYPE解析

Kafka SourceCanal-JSON格式支持解析MySQL原生类型。

消息队列Kafka

JSON StringJSON Array

Flink SQL支持将JSON字符串直接转换为JSON数组类型。

JSON Functions

AI Vector Search

新增AI函数,支持向量检索功能。

VECTOR_SEARCH

MaxCompute时区设置

MaxCompute连接器支持自定义时区,方便跨时区数据处理。

大数据计算服务MaxCompute

SLS消费处理器(Processor)

通过processor参数在SLS端预过滤数据,降低Flink计算负载。

日志服务SLS

主要缺陷修复

本次发布修复了以下主要问题:

连接器缺陷修复

  • 修复PostgresSQL CDC读取数据卡死的问题。

  • 修复Kafka连接器带有时区属性的时间戳转换丢失时区问题。

  • 修复Lindorm维表Join时空指针异常。

  • 修改paimon表参数配置错误后查看和删除该表报错Could not find any factory for identifier 'last_not_null_value' 。

SQL缺陷修复

  • 修复部分SQL作业数据血缘不显示的缺陷。

  • 修复双流left join算子多次撤回消息导致下发结果异常。