文档

创建及管理跨平台迁移

更新时间:

本文将为您介绍如何将Ververica Flink平台的实时任务迁移到Dataphin。

流程概述

跨平台迁移工具支持将Ververica Flink平台的实时任务迁移到Dataphin。其中根据所迁移的Dataphin项目类型不同,迁移流程不同。详情如下:

image.png

  • Basic模式项目

    1. 迁移的Dataphin项目类型为Basic模式时,您需要在Dataphin实例中为所需迁移的来源Ververica Flink项目创建对应的Ververica Flink计算源。具体操作,请参见新建Ververica Flink计算源

    2. 完成Ververica Flink计算源创建后,您需要将创建Ververica Flink计算源绑定至Dataphin项目。具体操作,请参见创建通用项目

    3. 需要迁移的来源Ververica Flink项目绑定至目标Dataphin项目(Basic模式)后,即可在Dataphin中通过迁移工具进行迁移。具体操作,请参见任务批量迁移

  • Dev-Prod模式项目

    1. 迁移的Dataphin项目类型为Dev-Prod模式时,您需要在Dataphin实例中为所需迁移的来源Ververica Flink项目创建对应的Ververica Flink计算源。具体操作,请参见新建Ververica Flink计算源

    2. 完成所需迁移的Ververica Flink计算源创建后,您需要将所需迁移的Ververica Flink计算源绑定至Dev-Prod模式的Prod项目;Dev项目您可以根据业务规划绑定其他Ververica Flink计算源。具体操作,请参见创建通用项目

      重要

      迁移时仅将Dataphin项目Prod环境绑定的Ververica Flink计算源中的作业迁移到Dev环境中

    3. 完成Dev-Prod模式的Prod项目和Dev项目的计算源绑定后,即可在Dataphin中通过迁移工具进行迁移。具体操作,请参见任务批量迁移

      重要

      迁移Ververica Flink实时任务成功后,若需要将Dev环境的任务发布至Prod环境进行运维管理。您可以将Dev环境的任务进行发布。具体操作,请参见管理发布任务

迁移说明

  • 支持迁移Ververica Flink上所有已经提交(部署)的任务。

  • 不支持批任务迁移。

  • 原平台Ververica Flink的目录结构无法迁移,任务迁移后将自动存放在Dataphin默认文件夹中。

  • 作业提交后的任务负责人默认为迁移任务提交人。

  • 若原平台Ververica Flink作业运行状态为运行中,迁移Dataphin并发布后运行状态也为运行中。

  • 带有依赖文件或自定义函数(UDF)的作业支持迁移,但可能会因缺少依赖导致提交报错。如果提交报错,需在Dataphin上传依赖文件后再进行重试。

  • Dev环境对应Ververica Flink项目A,Prod环境对应Ververica Flink项目B,迁移时仅将Prod环境对应Ververica Flink项目中的任务(即项目B)同步到Dev环境中。

跨平台迁移入口

  1. 在Dataphin首页,单击顶部菜单栏的管理中心

  2. 按照下图操作指引,进入跨平台迁移页面。

    image.png

跨平台迁移记录页面介绍

跨平台迁移记录页面主要由操作区、筛选区、任务创建批量迁移、筛选区、任务迁移列表组成您可以在跨平台迁移记录页面进行相关的管理操作。

image.png

区域

描述

操作区

支持通过输入迁移对象关键字来筛选迁移对象。同时单击image,可在展开的筛选区中筛选迁移对象。

单击+任务批量迁移,可以进入任务批量迁移页面进行实时任务的迁移。具体操作,请参见任务批量迁移

筛选区

筛选区支持筛选项包括:

  • 对象类型:支持Flink SQL和Flink DataStream对象类型。

  • 目标Dataphin项目:支持通过历史迁移对象的目标Dataphin项目进行筛选。

  • 迁移时间:支持通过任务迁移的时间进行筛选。

  • 迁移状态:支持等待中、提交中、提交失败、迁移中、迁移失败、迁移成功、跳过状态的任务。

    • 等待中:任务在等待迁移的队列中排队。

    • 迁移成功:任务成功同步到目标项目且已提交成功。

    • 提交失败:任务已成功迁移到目标项目但提交失败。

    • 迁移失败:任务未迁移到目标项目。

    • 迁移中:任务正在迁移到目标项目。

    • 提交中:任务已成功迁移到目标项目,正在提交中。

    • 跳过:目标项目存在同名对象,由于同名对象处理策略为“跳过”。该任务迁移时已自动跳过。

  • 迁移人:支持通过历史迁移对象的所有迁移人进行筛选。

任务迁移列表

任务提交迁移后,将在此列表中为您展示任务的迁移记录,包括迁移对象名称对象ID对象类型目标项目名称迁移状态迁移人/迁移时间

说明

对于迁移失败的对象,您可以单击image.png查看失败原因。

任务批量迁移

  1. 跨平台迁移记录页面,单击+任务批量迁移进入任务批量迁移页面。

  2. 选择来源及目标项目步骤中,配置目标Dataphin项目同名对象处理策略

    image.png

    • 目标Dataphin项目:任务迁移的目标Dataphin项目,仅支持选择Basic模式的项目或Dev-Prod模式的Dev项目。

      重要

      如果迁移后的Dataphin项目为Dev-Prod模式,则Dataphin项目的Dev环境与Prod环境需要分别绑定一个Ververica Flink计算源,迁移时仅将Dataphin项目Prod环境绑定的Ververica Flink计算源中的作业迁移到Dev环境中。

    • 同名对象处理策略:支持覆盖和跳过策略。

      • 覆盖:来源Ververica Flink项目中与目标Dataphin项目中存在同名对象时,将使用来源Ververica Flink项目的对象覆盖目标Dataphin项目中存在的同名对象。

      • 跳过:来源Ververica Flink项目中与目标Dataphin项目中存在同名对象时,将跳过来源Ververica Flink项目的同名对象迁移。

  3. 单击下一步

  4. 选择迁移的任务步骤中,勾选所需的迁移的对象。

    image.png

    说明
    • 在选择迁移的任务步骤中,您可以输入对象关键字或单击image.png筛选对象。筛选包括对象类型、最近迁移时间、最近迁移状态。

    • 等待中、迁移中、提交中状态的任务不可迁移。

    • 一次最多支持选择40个任务。

    • 迁移成功的任务支持再次迁移。目标项目中存在同名的任务时,则迁移时将根据选择的同名对象处理策略进行处理。

  5. 单击开始迁移

    单击开始迁移后任务将开始迁移,可到任务迁移记录列表中查看任务的迁移情况,任务迁移需要经过等待、迁移、提交等过程。

后续步骤

任务迁移到dataphin目标项目中后,系统将会自动提交一次任务,具体的任务提交详情,可到对应的计算任务页面查看。