2022-09-19版本

2022年9月19日正式对外发布全托管Flink的新版本，包含平台和引擎的更新、Connector的更新、性能优化以及缺陷修复。本次发布的是基于Flink 1.13的VVR-4.0.15版本，以及基于Flink 1.15的VVR-6.0.2版本。详情如下：

• 引擎侧将正式对外发布VVR 6.0.2版本，该版本是基于Apache Flink 1.15的企业级Flink引擎的第一次发布。Apache Flink 1.15中类似Window table-valued函数增强、CAST和类型系统增强、JSON函数增强等重要功能与性能优化都将在云上得以充分体现。

• 状态管理一直是用户关心的一个重点。在本次发布中，我们将系统检查点（社区Checkpoint）和作业快照（社区Savepoint）作为状态集进行统一管理。具体来说，在该版本中作业快照的生成速度、快照大小、恢复速度都有显著提升，成功率和稳定性也大幅提升。

  与此同时，我们废弃了原来在作业停止时删除快照的设定，而是明确区分系统检查点和作业快照，并支持用户显式地进行作业快照的生成和管理。除了易用性的提升，在新版本中Gemini状态存储引擎的优化提升也带来了成本的显著节省。通过状态集管理，每年可以节省的OSS存储费用约为15%-40%。另外，在平台上支持了快照作业间启动复用，更便捷地支持用户进行A/B Test等双跑类场景。

• 在资源利用效率提升上，业务上一般存在稳定的时间段会产生数据的波峰波谷，我们在资源调优上支持定时调优的策略，可以帮助您在特定时间将作业的资源调整为您预设的资源，降低人力成本的投入。

• 在作业运行连续性上，我们引入了作业在失败切换时的快速恢复能力。帮助用户在对数据重复或者丢失相对容忍的同时对作业业务连续性有高要求的场景下，进行失败任务的快速恢复。作业失败切换导致的延迟由分钟级最大可降低到毫秒级。

  警告

  在本期中该功能并不保证数据的丢失和重复。在使用前，请确保您的业务容忍结果数据出现丢失和重复。该配置默认不开启，需在作业中额外添加配置项，更多原理和配置详情请参见Task快速重启配置。

• 在作业运行诊断上，通过引入健康分的概念对作业启动到运行全状态的分析给出诊断项和意见，协助您运维流作业。

• 在被集成能力上，平台侧支持全新的OpenAPI来支持用户集成自己的业务。

• 实时风控一直是Flink的主要应用场景之一，针对连续的时间行为序列的复杂时间处理（CEP）相关的新特性，在之前的版本中为白名单客户提供预览版功能，并顺利在生产业务上通过验证。

  在本次发布中将面向全部用户发布CEP一系列的增强能力。首先，CEP规则的热更新能力一直是用户呼声最高的功能，其可以在业务高峰期更及时地主动介入更新规则，并彻底解决由于任务重新发布导致的十分钟级风控业务断流问题，从而极大提高业务可用性；其次是CEP SQL语法的增强，本次发布通过引入新的SQL扩展语法来增强CEP SQL的表达能力。受益于该增强能力，您可以将较复杂的DataStream作业简化为SQL作业，提升开发效率的同时可以更轻松地整合进数据治理的血缘系统中。最后本次发布还引入了若干CEP Metrics，可以观察到CEP规则的匹配详细指标。

• 其他的优化包含在性能优化上，我们将对Flink SQL中双流Join算子支持自动推导开启KV分离优化，可以显著提升双流Join类型作业的性能，无需用户额外配置。同时我们对Hive Catalog支持的Hive版本范围也做了扩展，支持了2.1.0~2.3.9，3.1.0~3.1.3的版本；Connector方面我们支持读取阿里云表格存储OTS服务和JDBC源表、维表及结果表的Connector。