迁移操作

本文为您介绍如何将Bayes上的作业迁移到实时计算开发控制台,包括迁移步骤、使用限制和注意事项。

前提条件

  • 您已具备Bayes对应项目的Owner权限和目标Flink项目空间的Owner权限,Flink权限管理详情,请参见权限管理

  • Flink工作空间和Bayes具有相同的VPC,即可保证迁移后上下游网络的连通性。

使用限制

  • DataStream作业JAR包无法迁移,因此作业迁移后,仅会在实时计算开发控制台上创建该作业和转换作业参数,您需要重新编辑与上传JAR包。

  • State无法迁移,您需要在实时计算开发控制台上重新启动作业。

  • 自定义Connector无法迁移,您需要根据新的Flink版本重新编译并在实时计算开发控制台上进行上传。

  • 细粒度的资源配置无法迁移,您需要在实时计算开发控制台上重新设置作业资源。

  • 开发态的多版本作业不会被迁移,仅迁移已上线的作业。

  • 已经迁移成功的作业,无法再次迁移。

  • 仅支持迁移Blink 3.x版本,迁移后对应使用Flink1.13版本。

注意事项

登录Bayes的阿里云账号需要以aliyunstreamdefaultrole角色的身份调用实时计算开发控制台接口进行数据迁移。因此,Blink迁移至Flink时,需要在实时计算开发控制台安全中心添加aliyunstreamdefaultrole RAM角色,否则会出现权限不足的报错,添加角色的操作如下图所示。

image

具体成员添加及角色区别详情请参见项目空间授权

操作步骤

  1. 申请项目Owner权限。

    进行Blink作业迁移前,需要申请迁移Bayes项目的Owner权限。详情请参见RAM用户授权Owner权限

  2. 在Bayes上新建迁移任务。

    1. 登录实时计算控制台

    2. 迁移页签,单击新建任务

    3. 填写名称并选择需要迁移到的Flink项目。

      选择迁移项目

      配置项

      说明

      名称

      迁移项目名称。

      VVP Workspace

      目标Flink工作空间ID。

      VVP Namespace

      目标Flink项目名称。

    4. 单击确定后,在迁移任务列表页面,查看新建的迁移任务。

      迁移任务

  3. 管理流作业或批作业迁移任务。

    1. 单击管理

    2. 单击流作业管理

      流作业管理

    3. 选中目标Blink作业后,单击向右的箭头。

      选择目标作业

      说明
      • 支持通过作业类型筛选作业,包括SQL和DataStream类型的作业。

      • 支持通过作业运行状态筛选作业,作业运行状态包括报错、未启动、等待、运行、暂停和停止。

      • 支持通过迁移状态筛选作业,迁移状态包括已迁移和未迁移。

      • 支持通过文件夹目录查找作业。

      • 支持通过文件名搜索作业。

      • 支持作业多选、全选、反选。

    4. 单击确定

  4. 开始进行迁移。

    1. 单击对比,可以查看迁移前后代码的变化。

      代码变化

    2. 迁移任务列表页面,单击运行

      单击运行后,该项目下选择的全部作业会开始迁移。运行

      说明

      如果没有运行按钮,则说明该迁移任务下没有迁移作业。您需要单击管理,添加迁移作业。

  5. 实时计算开发控制台,针对迁移的作业进行部署、资源配置和启动。

    1. 实时计算开发控制台数据开发 > ETL页面,修改作业引擎版本。

      image

      说明

      通过工具转化的作业需要使用Flink1.13(VVR 4.x.x)版本的引擎启动,建议您在迁移前将作业模版中的默认引擎版本修改为Flink1.13(VVR 4.x.x)版本,避免迁移后需要逐个作业修改引擎版本。如果在迁移前,您没有修改作业模板中的默认引擎版本,则需要在迁移后,手动重新修改对应作业的引擎版本。

    2. 单击部署

    3. 运维中心 > 作业运维页面,修改作业资源。

      您可以通过以下两种方式进行资源调优:

    4. 单击启动

常见问题

Q:如果迁移失败,应该如何处理?

A:您可以单击迁移失败,查看失败原因后进行对应的处理。然后再单击运行,即可继续迁移失败的作业。迁移失败

相关文档

  • Blink迁移至Flink的迁移方案、注意事项等详情,请参见迁移方案

  • Blink作业迁移到Flink全托管后,Flink对部分Blink函数进行了重新定义和修改,具体的语义变更详情请参见重大语义变更

  • 自定义函数从Blink迁移到Flink全托管的迁移说明,请参见自定义函数迁移指南