本文为您介绍2023年8月21日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
经过仔细评估，发现实时计算引擎VVR 8.0.1版本在极端情况下可能存在数据丢失的风险，这可能会影响到您的业务数据正确性。因此该版本将快速逐步EOS，请您尽快将作业引擎版本升级到VVR 8.0.5及以上版本，升级方法请参见作业引擎版本升级。我们可以提供必要的支持和指导，帮助您平滑过渡到更安全、更稳定的版本，感谢您的理解与合作。
概述
2023年8月21日正式对外发布实时计算Flink版的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1的全新企业级Flink引擎。在该版本中，我们将包含Apache Flink 1.17.1的所有新功能、性能提升与缺陷修复。在Apache Flink 1.17中，通过通用增量Checkpoint（GIC）功能，提升了Checkpoint的处理速度和稳定性。同时，增强了Unaligned Checkpoint（UC）在处理作业反压时的稳定性，现在已达到生产级可用性。此外，Batch的性能也得到大幅度改进。
在这个版本中，我们对企业级状态后端核心架构进行了重构，在性能和稳定性方面都有大幅提升，主要体现在两个方面：（1）采用了更紧凑的状态格式和文件存储，以及更高效的数据清理策略，显著降低了本地状态存储空间，并大幅提升了访问性能。对于状态瓶颈的作业，其平均性能可以提升40%以上，状态大小可缩减约30%。（2）进一步提升了状态扩缩容和恢复机制，在大状态场景下（100G）可以让作业更新断流时间从分钟级降低到秒级。新版本企业级状态在VVR 8.0.1作为默认版本，无需您更改配置。
除引擎内核与状态后端升级外，本次发布进一步增强了Flink与阿里云各存储和计算产品间的互操作性，提供了更丰富的连接器功能，并提升了性能和稳定性。主要包括：
正式推出MongoDB CDC连接器，进入公测阶段，支持高效地从MongoDB数据库中（复本集或分片集群架构）捕获实时增量和历史数据同步到下游系统。MongoDB CDC连接器实现了增量快照算法，在全量阶段支持并发读取海量历史数据，自动切换从全量读到增量读，同步过程提供数据不丢不重语义；在增量读取阶段，支持扫描完整变更事件流，对下游Flink SQL计算作业非常友好。同时MongoDB CDC提供多种启动位点模式，方便您按需灵活选择。
CDAS功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。
新增OceanBase连接器，可以将OceanBase数据库作为结果表和维表使用。OceanBase是阿里巴巴和蚂蚁集团100% 自主研发的一款原生分布式关系型HTAP数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系型数据库、低成本等特点。
加强了Tair的企业级数据结构的更全面支持，您可以使用Flink+TairTs实时构建时序数据集，使用Flink+TairVector构建AI向量数据集，也可以通过Flink+TairCpc进行实时风控应用构建，或者采用Flink+TairRoaring实现实时客户画像系统。
新增对阿里云SLS Catalog结果表的支持，您可以使用持久表的方式进行SLS数据表的定义与写入。
作为一个预览功能，本次发布包含了Apache Paimon 0.5-snapshot的更新，并支持了Flink CDC写入Paimon时源表列类型变更应用。
我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！
主要功能介绍
特性 | 详情 | 相关文档 |
MongoDB CDC连接器开始公测 | 支持以源表形式读取MongoDB增量变化数据。 | |
CDAS支持源库新增表加入数据同步 | CDAS作业启动后，如果源库新增表，支持从作业快照重启，从而捕获到新的表，对新增表进行数据同步。 | |
支持在Begin Statement/END中新添加CTAS子句 | 如果新增CTAS语句，支持从作业快照重启，从而捕获到新的表，对新增表进行数据同步。CTAS的使用更加灵活，且不会增加作业数量。 | |
双流Join支持不同流的State TTL分别设置 | 在部分涉及双流Join的业务场景中，两个不同的流可能需要设定不一样的长度。通常而言，某一个流或许需要长达15天的设置时间，与此同时，另一条流可能只需短至1天的设置时间，即可使业务需求得以满足。通过新加此项功能，一方面能提升作业稳定性，另一方面则能有效降低运行成本。 | |
新增OceanBase连接器 | 支持作为结果表和维表使用。 | |
SLS连接器支持查询下推 | 支持在源端进行数据过滤，提升读取效率。 | |
SLS Catalog支持结果表 | 支持使用Catalog进行SLS的写入。 | |
ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本 | 新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版本的支持。 | |
Tair连接器支持更多的数据类型写入 | 新增对TairTs、TairCpc、TairRoaring、TairVector和TairGis的支持。 | |
Paimon升级，并支持Flink CDC写入Paimon时源表列类型变更应用 | Paimon升级到0.5-snapshot版本，并支持了当通过Flink CDC写入Paimon数据时，如果源表发生了列变更，Paimon可以应用此变更。 |
重要缺陷修复
修复MySQL源表读取PolarDB MySQL时出现Filtering update table metadata event: Event{header=EventHeaderV4的问题。
修复使用带有条件的窗口TVF时无数据输出的问题。