本文介绍2025年01月15日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2025年1月15日,我们正式对外发布实时计算Flink版新版本,包含平台升级、引擎更新、连接器更新以及缺陷修复。
平台侧
平台侧的更新提升了作业应用开发能力和运维效率,同时增强系统稳定性。以下是本次更新的主要亮点:
兼容Hive语法:支持使用Hive方言创建批处理作业,通过兼容Hive SQL语法增强与Hive互操作性,便于从现有Hive作业平滑迁移至Flink平台。
任务编排能力提升:支持数据回刷,便于对历史数据进行补数和订正。
作业检索能力增强:新网络架构支持根据源端或者目标端的IP查找对应的Flink作业。
新购时无需指定可用区:新购Flink工作空间时,无需再进行可用区的配置。单可用区部署模式将自动选择最佳计算可用区,跨可用区部署模式可有效避免因单个可用区故障导致服务中断,确保作业的持续性和高可用性。
自动调优优化:智能调优的平稳策略新增了输出能力,达到平稳状态后可以查看、修改并保存生成的资源调优计划。
扩展项目变量应用场景:支持在作业运行参数配置中使用项目变量,避免明文AccessKey、密码等敏感信息,降低安全风险。
引擎侧
引擎侧正式对外发布VVR 8.0.11,该版本基于Apache Flink 1.17.2,并在社区最新完成的缺陷修复上继续优化和增强,主要包括以下变更:
引擎更新
PyFlink升级到Python 3.9:该升级在性能、功能和安全性等多个方面带来了显著提升。升级后,需要对先前版本的PyFlink作业进行重新测试、部署和运行。
连接器更新
Hologres连接器更新:新增了对消费分区父表的支持,并扩展了元数据列,以获取更多的表信息。同时,优化了流写入能力,支持条件更新和激进写入。
MaxCompute连接器更新:支持Delta Table部分列更新。
StarRocks类型映射扩容:进行了更大范围的自动扩容,以适应emoji等特殊字符的长度。
物化表增量更新优化:批模式全量更新或增量更新将根据使用场景由引擎自动判断,并优先考虑采用增量更新。
主要功能介绍
特性 | 详情 | 相关文档 |
兼容Hive语法 | 支持使用Hive方言创建批处理作业,便于平滑迁移Hive作业。 | |
任务编排能力提升 | 工作流支持数据回刷,便于对历史数据进行补数和订正。 | |
作业检索能力增强 | 新网络架构支持作业运维根据源端IP和Port或者对端的IP和Port查询作业。当系统遇到大量IP访问时,方便您更快地找到对应的作业。 | |
新购流程简化 | 通过部署模式实现快速配置。
| |
扩展项目变量应用场景 | 作业运行参数配置支持使用项目变量。 | |
自动调优优化 | 智能调优支持生成定时计划和固定资源两种调优方案,并提供应用保存功能。 | |
Hologres连接器更新 |
| |
| ||
MaxCompute连接器更新 | 支持 | |
StarRocks类型映射扩容 | 对CHAR类型的映射进行自动扩容,增加至原有长度的四倍。 | |
物化表增量更新优化 | 批处理支持物化表增量更新。 | |
Python版本升级 | Python 3.7.9版本升级到3.9.21版本,低引擎版本升级至VVR 8.0.11及以上引擎版本时,需要对PyFlink作业进行兼容性测试并重新部署运行。 |
主要缺陷修复
连接器缺陷
修复MySQL连接器在启动时出现的空指针异常,并解决升级版本后非主键表写入性能下降问题。
修复Kafka连接器因重用Source导致Canal-JSON和Kafka Metadata列顺序错乱的问题。
修复云消息队列HBase连接器启动异常
No length info found when processingnull
问题。修复SLS Catalog报错
AssertionError: Conversion to relational algebra failed
问题。
SQL缺陷修复
修复水印下发延迟导致窗口不触发的问题。
修复在CTAS创建的表中新增Bit(1)类型列时,出现
ValidationException: Binary string length must be between 1 and 2147483647
报错的问题。
稳定性修复
修复作业在退出码137异常重启时,系统检查点恢复位置错误的问题。