任务编排一键迁移指南

更新时间:
复制为 MD 格式

任务编排一键迁移功能支持将已有任务编排快速迁移至目标工作空间,帮助您高效完成任务编排的跨空间复制与部署。本文介绍一键迁移的前提条件、支持的地域、操作步骤及支持的节点类型。

前提条件

在使用一键迁移功能前,您需要在目标工作空间中为服务账号配置相应的权限策略。您可以选择以下任一方式完成授权:

  • 方式一:直接为服务账号添加 AliyunDMSReadOnlyAccess系统默认权限策略。

  • 方式二:为服务账号手动添加以下自定义权限策略:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dms:BackFill",
        "dms:GetDataArchiveOrderDetail",
        "dms:GetDatabase",
        "dms:GetDataCorrectTaskDetail",
        "dms:GetDBTaskSQLJobLog",
        "dms:GetInstance",
        "dms:GetLogicDatabase",
        "dms:GetMetaTableColumn",
        "dms:GetMetaTableDetailInfo",
        "dms:GetPhysicalDatabase",
        "dms:GetTask",
        "dms:GetTaskFlowInstanceStats",
        "dms:GetTaskFlowGraph",
        "dms:GetTaskFlowNotification",
        "dms:GetTaskInstanceRelation",
        "dms:GetUser",
        "dms:GetUserActiveTenant",
        "dms:GetWorkspace",
        "dms:ListAuthorizedInstancesForUser",
        "dms:ListAuthorizedDatabasesForUser",
        "dms:ListAuthorizedUsersForDatabase",
        "dms:ListAuthorizedUsersForInstance",
        "dms:ListDataLakePartitionByFilter",
        "dms:OfflineTaskFlow",
        "dms:PublishAndDeployTaskFlow",
        "dms:ReRunTaskFlowInstance",
        "dms:ReDeployLhDagVersion",
        "dms:ResumeTaskFlowInstance",
        "dms:SearchTable",
        "dms:StopTaskFlowInstance",
        "dms:SuspendTaskFlowInstance",
        "dms:TryRunTaskFlow",
        "dms:AddTaskFlowEdges",
        "dms:CreateTaskFlow",
        "dms:CreateTask",
        "dms:CreateWorkspace",
        "dms:ExecuteScript",
        "dms:UpdateTaskContentV2",
        "dms:UpdateTaskContent",
        "dms:UpdateTaskFlowConstants",
        "dms:UpdateTaskFlowEdges",
        "dms:UpdateTaskFlowNameAndDesc",
        "dms:UpdateTaskOutput",
        "dms:UpdateTaskTimeVariables",
        "dms:ListColumns",
        "dms:ListDAGVersions",
        "dms:ListDatabases",
        "dms:ListInstances",
        "dms:ListLogicDatabases",
        "dms:ListLogicTables",
        "dms:ListScenarios",
        "dms:ListTables",
        "dms:ListTaskFlow",
        "dms:ListTaskFlowConstants",
        "dms:ListTaskFlowCooperators",
        "dms:ListTaskFlowEdgesByCondition",
        "dms:ListTaskFlowInstance",
        "dms:ListTaskFlowsByPage",
        "dms:ListTaskFlowTimeVariables",
        "dms:ListTaskInstances",
        "dms:ListTasksInTaskFlow",
        "dms:ListWorkspaces"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "dms:ListDataLakeCatalog",
        "dms:ListDataLakeDatabase",
        "dms:ListDataLakeFunction",
        "dms:ListDataLakeFunctionName",
        "dms:ListDataLakePartition",
        "dms:ListDataLakePartitionName",
        "dms:ListDataLakeTable",
        "dms:ListDataLakeTablebaseInfo",
        "dms:ListDataLakeTableName",
        "dms:ListTableColumns",
        "dms:ListUsers",
        "dms:SearchDatabase",
        "dms:CreateAirflow"
      ],
      "Resource": "*"
    }
  ]
}
说明

以上权限策略用于迁移过程中读取任务编排信息和库表等元数据信息。

支持地域

当前一键迁移功能已在华东1(杭州)地域开服,后续将逐步开放更多地域。

操作步骤

  1. 登录数据管理DMS 5.0

  2. 在顶部导航栏中,选择Data + AI > 数据开发 > 任务编排后,点击一键迁移按钮。

    进入一键迁移

  3. 根据提示选择工作空间或者新建工作空间。

    选择工作空间

    重要

    如果选择新建工作空间,请务必为服务角色赋予足够的权限。新建工作空间需要配置VPC和安全组等信息,详情请参见准备Airflow所需资源

    新建工作空间

  4. 选择迁移方式并开始迁移。目前支持以下两种迁移方式:

    • 全部迁移:迁移源工作空间中的所有任务编排。

    • 指定迁移:选择需要迁移的特定任务编排。

    选择迁移方式

    说明

    工作空间具有地域和VPC属性,建议同一个工作空间内的实例位于同一VPC下。详情请参见工作空间

  5. 迁移任务创建完成后,您可以在迁移记录中查看历史迁移任务信息和执行日志。

    迁移记录

支持的节点类型

当前一键迁移功能支持以下节点类型:

节点类型

说明

单实例SQL

在单个数据库实例上执行SQL语句

单实例SQL赋值

在单个数据库实例上执行SQL并将结果赋值给变量

SQL状态检查

检查SQL执行状态

入湖数据集成

将数据集成至数据湖

ADB Spark

执行AnalyticDB Spark任务

任务依赖检查

检查上游任务依赖状态