本文为您介绍2021-03-16号发布的Flink全托管版本的重大功能变更和主要缺陷修复。

VVP 2.4.0版本重大功能变更

  • 支持Flink 1.12版本。
  • 开发控制台界面全新升级,作业上线后,您可以在开发界面继续对作业进行修正而不影响上线作业状态。
  • Session模式作业支持设置Checkpoint和Savepoint。
  • 优化用户管理界面,可以添加用户名并显示用户名。
  • 支持Pyflink作业的提交。详情请参见Flink Python开发指南

VVP 2.4.0版本主要缺陷修复

修复作业信息另存后,作业脚本丢失的缺陷。

VVR 3.0.0版本重大功能变更

  • 支持在SQL JOIN中使用Hints语法。
  • Kafka的Avro格式支持用户自定义Schema。
  • 支持Kafka、DataHub、SLS和MQ获取元消息列。
  • 优化Mysql-CDC功能:支持多种方式启动位点,包括binlog position、timestamp、earliest-offset、latest-offset和initial。
  • 新增监控指标:numBytesIn、numBytesInPerSecond、sourceIdleTime(overview)pendingRecords、watermarkLag、numBytesOut、numBytesOutPerSecond、numRecordsOut和numRecordsIn。
  • 新增Connector:FileSystem维表
  • 新增内置函数:
    • 标量函数
      函数名称
      BITAND DATEDIFF FROM_UNIXTIME MURMUR_HASH_64 TO_DATE
      BITNOT DATE_ADD ISNAN PARSE_URL TO_TIMESTAMP_TZ
      BITOR DATE_FORMAT JSON_VALUE REGEXP_EXTRACT UNIX_TIMESTAMP
      BITXOR DATE_FORMAT_TZ KEYVALUE REGEXP_REPLACE
      CONV DATE_SUB MURMUR_HASH SPLIT_INDEX
    • 表值函数
      函数名称
      GENERATE_SERIES JSON_TUPLE
      MULTI_KEYVALUE STRING_SPLIT
    • 聚合函数
      函数名称
      APPROX_COUNT_DISTINCT FIRST_VALUE LAST_VALUE

VVR 3.0.0版本主要缺陷修复

  • 修复Savepoint触发后导致Checkpoint文件丢失的缺陷。
  • 修复Postgres-CDC WAL日志无限增长导致磁盘空间不足的问题。
  • 修复日志中隐藏用户名和密码等敏感信息的缺陷。

注意事项

  • SQL编辑器中作业名和作业列表变更
    原VVP平台没有做开发和运维分离,即SQL脚本和上线作业间不存在关联关系,因此SQL脚本和上线作业的命名方式未做一致性要求。新版VVP支持开发和运维分离:
    • SQL脚本名和线上作业名一一对应,原SQL脚本名中如果存在中文,升级后将会把中文用随机数替代,原SQL脚本名称将在脚本配置的Label中展示。建议将脚本重命名为线上对应名称。
    • 如果存在重复的SQL脚本名称,将在SQL脚本名后加随机数。您也可以采用重命名的方式更正SQL脚本名称。
  • SQL作业Flink版本升级变更
    VVP升级后,内置的SQL编译器版本将升级到Flink 1.12。但是Flink 1.11和Flink 1.12的类不兼容,之前历史的Flink 1.11版本的SQL作业将会运行不成功。因此,对于VVP升级前,基于历史版本已创建并且已运行的SQL作业,您有两个选择:
    • 升级作业的Flink版本到最新的Flink 1.12版本。
      注意
      • 升级后不能进行降级。一旦该SQL作业的Flink版本被更新到最新的Flink 1.12,就不能再进行降级。
      • 升级操作有失败的风险。建议您复制一个新的SQL作业尝试成功后,再在原有SQL作业上操作。
    • 不升级作业的Flink版本并继续使用原有版本。
      注意
      • 原有的未上线SQL作业,需要选择Flink 1.12版本运行作业。
      • 原有的已上线的SQL作业将继续使用Flink 1.11版本运行。修改部署目标(所修改的部署目标要有Flink 1.11版本)、资源配置、日志配置、K8S配置、Flink镜像仓库名称、URL地址、Tag这些操作可以继续使用Flink 1.11运行作业。除此之外,其他修改需要将作业版本升级到Flink 1.12。
  • 升级策略变更

    新版本将不再支持设置升级策略,全部都使用None模式。