Flink功能发布记录（2025年01月15日）_实时计算 Flink版(Flink)-阿里云帮助中心

本文介绍2025年01月15日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级将分阶段灰度发布，具体升级计划请关注实时计算控制台的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2025年1月15日，我们正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新以及缺陷修复。

平台侧

平台侧的更新提升了作业应用开发能力和运维效率，同时增强系统稳定性。以下是本次更新的主要亮点：

兼容Hive语法：支持使用Hive方言创建批处理作业，通过兼容Hive SQL语法增强与Hive互操作性，便于从现有Hive作业平滑迁移至Flink平台。
任务编排能力提升：支持数据回刷，便于对历史数据进行补数和订正。
作业检索能力增强：新网络架构支持根据源端或者目标端的IP查找对应的Flink作业。
新购时无需指定可用区：新购Flink工作空间时，无需再进行可用区的配置。单可用区部署模式将自动选择最佳计算可用区，跨可用区部署模式可有效避免因单个可用区故障导致服务中断，确保作业的持续性和高可用性。
自动调优优化：智能调优的平稳策略新增了输出能力，达到平稳状态后可以查看、修改并保存生成的资源调优计划。
扩展项目变量应用场景：支持在作业运行参数配置中使用项目变量，避免明文AccessKey、密码等敏感信息，降低安全风险。

引擎侧

引擎侧正式对外发布VVR 8.0.11，该版本基于Apache Flink 1.17.2，并在社区最新完成的缺陷修复上继续优化和增强，主要包括以下变更：

引擎更新

PyFlink升级到Python 3.9：该升级在性能、功能和安全性等多个方面带来了显著提升。升级后，需要对先前版本的PyFlink作业进行重新测试、部署和运行。

连接器更新

Hologres连接器更新：新增了对消费分区父表的支持，并扩展了元数据列，以获取更多的表信息。同时，优化了流写入能力，支持条件更新和激进写入。
MaxCompute连接器更新：支持Delta Table部分列更新。
StarRocks类型映射扩容：进行了更大范围的自动扩容，以适应emoji等特殊字符的长度。
物化表增量更新优化：批模式全量更新或增量更新将根据使用场景由引擎自动判断，并优先考虑采用增量更新。

主要功能介绍

特性	详情	相关文档

特性	详情	相关文档
兼容Hive语法	支持使用Hive方言创建批处理作业，便于平滑迁移Hive作业。	Hive方言作业快速入门
任务编排能力提升	工作流支持数据回刷，便于对历史数据进行补数和订正。	管理工作流
作业检索能力增强	新网络架构支持作业运维根据源端IP和Port或者对端的IP和Port查询作业。当系统遇到大量IP访问时，方便您更快地找到对应的作业。	网络架构升级
新购流程简化	通过部署模式实现快速配置。单可用区部署模式将为您分配最佳计算可用区，同一地域内可用区之间内网互通，可用区之间网络延时SLA保障在3 ms内，详见地域内可用区间平均网络时延。计算层会进行可用区无感调度，以进行库存打通，提升资源弹性负载能力。跨可用区部署模式当作业运行所在的可用区出现故障时，作业将自动调度到同一地域其他稳定可用区恢复，从而有效避免因单个可用区故障导致服务中断，确保作业的持续性和高可用性。	开通实时计算Flink版同城高可用
扩展项目变量应用场景	作业运行参数配置支持使用项目变量。	变量管理
自动调优优化	智能调优支持生成定时计划和固定资源两种调优方案，并提供应用保存功能。	配置自动调优
Hologres连接器更新	支持`check-and-put`写入Hologres条件更新能力，根据条件判断是否更新写入。提供`aggressive.enabled`激进写入模式，提升在流量较小时写入的时效性。	实时数仓Hologres
Hologres连接器更新	支持分区父表Binlog消费能力（公测），在构造实时数仓时可以直接消费分区父表Binlog。新增Hologres Catalog源表消费时获取元数据列的能力，方便使用Catalog获取更多`hg_binlog_event_type`等元数据信息。	实时计算Flink版实时消费Hologres 管理Hologres Catalog
MaxCompute连接器更新	支持`upsert.partial-column`部分列更新，提供了多流写入MaxCompute构建宽表的能力。	大数据计算服务MaxCompute
StarRocks类型映射扩容	对CHAR类型的映射进行自动扩容，增加至原有长度的四倍。	StarRocks
物化表增量更新优化	批处理支持物化表增量更新。	创建及使用物化表
Python版本升级	Python 3.7.9版本升级到3.9.21版本，低引擎版本升级至VVR 8.0.11及以上引擎版本时，需要对PyFlink作业进行兼容性测试并重新部署运行。	Python作业开发

主要缺陷修复

连接器缺陷

修复MySQL连接器在启动时出现的空指针异常，并解决升级版本后非主键表写入性能下降问题。
修复Kafka连接器因重用Source导致Canal-JSON和Kafka Metadata列顺序错乱的问题。
修复云消息队列HBase连接器启动异常No length info found when processingnull问题。
修复SLS Catalog报错AssertionError: Conversion to relational algebra failed问题。

SQL缺陷修复

修复水印下发延迟导致窗口不触发的问题。
修复在CTAS创建的表中新增Bit(1)类型列时，出现ValidationException: Binary string length must be between 1 and 2147483647报错的问题。

稳定性修复

修复作业在退出码137异常重启时，系统检查点恢复位置错误的问题。