本文为您介绍2023年10月23日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
经过仔细评估，发现实时计算引擎VVR 8.0.3版本在极端情况下可能存在数据丢失的风险，这可能会影响到您的业务数据正确性。因此该版本将快速逐步EOS，请您尽快将作业引擎版本升级到VVR 8.0.5及以上版本，升级方法请参见作业引擎版本升级。我们可以提供必要的支持和指导，帮助您平滑过渡到更安全、更稳定的版本，感谢您的理解与合作。
概述
2023年10月23日正式对外发布实时计算Flink版的新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧将正式对外发布VVR 8.0.3版本，该版本是基于Apache Flink 1.17.1的企业级Flink引擎。在该版本中，我们增强了Flink与阿里云各存储和计算产品之间的互操作性，对MaxCompute、StarRocks、Redis、SLS、RocketMQ连接器进行了功能增强，提高了连接器的性能和稳定性，此外，我们还提升了CTAS的易用性。
平台侧主要变更有：优化了自动调优的能力，加入平稳策略使调优结果可以收敛，不再频繁重启；支持定时计划设置多组定时策略，并在不停止作业的情况下切换定时计划；支持字段粒度的SQL作业数据血缘，协助您管理实时资产；支持动态参数更新，减少启停作业；支持RAM角色、资源目录成员、云SSO用户登录等。
相关连接器的DataStream API，计划在后续版本发布。
我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！
功能介绍
特性 | 详情 | 相关文档 |
优化自动调优能力 | 提供新的调优策略（平稳策略），帮助您的作业寻找适合整个运行周期的资源配置。只有找到更适合整个周期的资源配置，才会动态调整，否则不会修改已有资源，避免了因脉冲式流量的变化导致整个作业资源的修改。使作业的运行趋于稳定，减少不必要的变动和波动，最终达到收敛状态。 | |
支持定时计划 | 对比原有的定时调优策略，您可以设置多个定时计划，并在不停止作业的情况下切换定时计划，一个定时计划下也可以包含多个定时策略。 | |
支持SQL数据血缘能力 | 通过查看血缘关系，您可以找到使用某张表的某个字段的Flink作业，也可以看到Flink作业上下游的字段级关系，协助您更好的管理作业和数据资产。 | |
支持资源动态更新 | 对作业并发度和部分Flink运行参数的修改，不再需要停止作业完成，您可以动态的修改这些参数。 | |
提供SQL优化建议 | SQL作业进行深度检查时，会返回SQL优化建议功能，自动输出SQL问题风险以及对应的优化建议，您可以根据风险以及建议进行SQL语句优化。 | |
支持标签搜索能力 | 支持在SQL、JAR或Python作业部署时，针对作业设置自定义的作业标签。设置后您可以在作业运维页面，通过标签搜索到所有包含该标签或标签值的作业，便于您更好的管理作业。 | |
增强作业排序筛选能力 | 在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。 | 暂无 |
支持RAM角色、资源目录成员、云SSO用户登录鉴权 | 阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源目录成员、云SSO用户，简化了用户身份和访问管理，同时提供更全面的资源管理和授权机制。 | |
MaxCompute连接器支持复杂数据结构和独享 Tunnel | MaxCompute连接器支持MaxCompute中JSON、ARRAY、MAP和STRUCT的读写，同时支持指定独享Tunnel进行服务连接。 | |
Redis连接器作为维表时的Cache策略支持ALL | 使用Cache ALL策略，进一步提升Redis作为维表时的性能。 | |
MySQL Catalog支持开启TDE的云数据库RDS MySQL实例 | MySQL Catalog对开启TDE的云数据库RDS MySQL实例进行了支持。 | 暂无 |
DLF Catalog的oss.endpoint支持OSS-HDFS路径 | 可以使用OSS-HDFS作为DLF的oss.endpoint。 | |
StarRocks作为结果表时支持CTAS中Schema变更的宽容模式 | 通过支持Schema变更的宽容模式，在使用CTAS作业并将StarRocks作为结果表时，如果源表字段类型长度变化，只要StarRocks表的字段长度可以兼容，则该表同步的作业不会受到影响。 | 暂无 |
Hologres结果表支持使用Date类型做分区键。 | 支持使用Date类型作为分区键时，自动创建分区表。 | |
RocketMQ连接器支持读写云消息队列RocketMQ版5.x版本 | 新增对云消息队列RocketMQ版最新版本5.x的读写支持。 | |
优化minibatch和Join部分场景性能 | 优化minibatch和Join的性能，在CDC、去重聚合等类似操作后进行Join时，部分场景吞吐可提升130%左右。 | 暂无 |
缺陷修复
修复MaxCompute使用Catalog写入分区表异常的问题。
修复Hologres维表关联性能差的问题。