2025-01-15版本

本文介绍20250115日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级将分阶段灰度发布,具体升级计划请关注实时计算控制台的最新公告。如果您不能使用相关新功能,说明您的账号暂未完成灰度。如果您需要尽快升级,请提交工单告知我们,我们将结合实际情况进行安排。

概述

2025115日,我们正式对外发布实时计算Flink版新版本,包含平台升级、引擎更新、连接器更新以及缺陷修复。

平台侧

平台侧的更新提升了作业应用开发能力和运维效率,同时增强系统稳定性。以下是本次更新的主要亮点:

  • 兼容Hive语法:支持使用Hive方言创建批处理作业,通过兼容Hive SQL语法增强与Hive互操作性,便于从现有Hive作业平滑迁移至Flink平台。

  • 任务编排能力提升:支持数据回刷,便于对历史数据进行补数和订正。

  • 作业检索能力增强:新网络架构支持根据源端或者目标端的IP查找对应的Flink作业。

  • 新购时无需指定可用区:新购Flink工作空间时,无需再进行可用区的配置。单可用区部署模式将自动选择最佳计算可用区,跨可用区部署模式可有效避免因单个可用区故障导致服务中断,确保作业的持续性和高可用性。

  • 自动调优优化:智能调优的平稳策略新增了输出能力,达到平稳状态后可以查看、修改并保存生成的资源调优计划。

  • 扩展项目变量应用场景:支持在作业运行参数配置中使用项目变量,避免明文AccessKey、密码等敏感信息,降低安全风险。

引擎侧

引擎侧正式对外发布VVR 8.0.11,该版本基于Apache Flink 1.17.2,并在社区最新完成的缺陷修复上继续优化和增强,主要包括以下变更:

引擎更新

PyFlink升级到Python 3.9:该升级在性能、功能和安全性等多个方面带来了显著提升。升级后,需要对先前版本的PyFlink作业进行重新测试、部署和运行。

连接器更新

  • Hologres连接器更新:新增了对消费分区父表的支持,并扩展了元数据列,以获取更多的表信息。同时,优化了流写入能力,支持条件更新和激进写入。

  • MaxCompute连接器更新:支持Delta Table部分列更新。

  • StarRocks类型映射扩容:进行了更大范围的自动扩容,以适应emoji等特殊字符的长度。

  • 物化表增量更新优化:批模式全量更新或增量更新将根据使用场景由引擎自动判断,并优先考虑采用增量更新。

主要功能介绍

特性

详情

相关文档

兼容Hive语法

支持使用Hive方言创建批处理作业,便于平滑迁移Hive作业。

Hive方言作业快速入门

任务编排能力提升

工作流支持数据回刷,便于对历史数据进行补数和订正。

管理工作流

作业检索能力增强

新网络架构支持作业运维根据源端IPPort或者对端的IPPort查询作业。当系统遇到大量IP访问时,方便您更快地找到对应的作业。

网络架构升级

新购流程简化

通过部署模式实现快速配置。

  • 单可用区部署模式

    将为您分配最佳计算可用区,同一地域内可用区之间内网互通,可用区之间网络延时SLA保障在3 ms内,详见地域内可用区间平均网络时延。计算层会进行可用区无感调度,以进行库存打通,提升资源弹性负载能力。

  • 跨可用区部署模式

    当作业运行所在的可用区出现故障时,作业将自动调度到同一地域其他稳定可用区恢复,从而有效避免因单个可用区故障导致服务中断,确保作业的持续性和高可用性。

扩展项目变量应用场景

作业运行参数配置支持使用项目变量。

变量管理

自动调优优化

智能调优支持生成定时计划和固定资源两种调优方案,并提供应用保存功能。

配置自动调优

Hologres连接器更新

  • 支持check-and-put写入Hologres条件更新能力,根据条件判断是否更新写入。

  • 提供aggressive.enabled激进写入模式,提升在流量较小时写入的时效性。

实时数仓Hologres

  • 支持分区父表Binlog消费能力(公测),在构造实时数仓时可以直接消费分区父表Binlog。

  • 新增Hologres Catalog源表消费时获取元数据列的能力,方便使用Catalog获取更多hg_binlog_event_type等元数据信息。

MaxCompute连接器更新

支持upsert.partial-column部分列更新,提供了多流写入MaxCompute构建宽表的能力。

大数据计算服务MaxCompute

StarRocks类型映射扩容

CHAR类型的映射进行自动扩容,增加至原有长度的四倍。

StarRocks

物化表增量更新优化

批处理支持物化表增量更新。

创建及使用物化表

Python版本升级

Python 3.7.9版本升级到3.9.21版本,低引擎版本升级至VVR 8.0.11及以上引擎版本时,需要对PyFlink作业进行兼容性测试并重新部署运行。

Python作业开发

主要缺陷修复

连接器缺陷

  • 修复MySQL连接器在启动时出现的空指针异常,并解决升级版本后非主键表写入性能下降问题。

  • 修复Kafka连接器因重用Source导致Canal-JSONKafka Metadata列顺序错乱的问题。

  • 修复云消息队列HBase连接器启动异常No length info found when processingnull问题。

  • 修复SLS Catalog报错AssertionError: Conversion to relational algebra failed问题。

SQL缺陷修复

  • 修复水印下发延迟导致窗口不触发的问题。

  • 修复在CTAS创建的表中新增Bit(1)类型列时,出现ValidationException: Binary string length must be between 1 and 2147483647报错的问题。

稳定性修复

修复作业在退出码137异常重启时,系统检查点恢复位置错误的问题。