将任务编排迁移到DMS Airflow

发起转换任务

1. 打开Data Agent页面，单击左侧导航栏中的开发切换到开发模式。

2. 向Data Agent发送消息发起转换任务，以下为示例。您也可以根据实际需求调整消息内容，例如先指定几个任务流进行测试。

   使用 skills airflow-migration-from-dms 迁移所有任务流，地域为cn-hangzhou

   说明

   消息中的地域统一为cn-hangzhou。

3. 等待Data Agent完成迁移。

检查转换结果

1. 迁移完成后，Data Agent会生成迁移报告migration_report.md，请查阅报告确认迁移结果。

2. 在Data Agent中输入查看迁移后注意事项或迁移后我需要做哪些事情，Data Agent会根据您的实际情况进行分析和说明。

上传Airflow任务流

1. 在Data Agent中发送以下消息，将DAG文件同步到OSS：

   使用skills airflow-operation 把dags目录上传并发布到工作空间{工作空间id/名字}里

   说明

   请将{工作空间id/名字}替换为您实际的工作空间ID或名称。

2. 上传完成后，Airflow大约5分钟后会加载新的DAG。

配置Airflow变量

迁移完成后，部分离线数据集成和跨库Spark SQL依赖项（如AnalyticDB集群和数据库的账号密码）需要通过Airflow变量进行配置。

1. 使用迁移生成的airflow_variables.json文件，在文件中填入需要配置的变量值。文件中需要指定以下参数：

   • spark_adb_cluster_id与spark_adb_resource_group：AnalyticDB集群的ID和资源组。离线数据集成和跨库Spark SQL节点处理的数据库实例如果在同一个地域，可以使用同一个AnalyticDB集群。迁移脚本假设使用同一个AnalyticDB集群，如果不相同，需要自行调整。

   • spark_eni_vswitch_id与spark_eni_security_group_id：数据库实例所在VPC里的vSwitch ID和安全组 ID。同一个AnalyticDB Spark任务中，数据库实例需要在同一个地域的同一个VPC内，否则需要通过VPC Peer等方式进行VPC打通才能使用。迁移脚本假设数据库实例在同一个VPC内，如果不相同，需要自行调整。

   • db_xxx_user与db_xxx_password：AnalyticDB Spark任务中使用的数据库的账号和密码。由于安全原因，ADB Spark任务无法使用DMS托管的账号密码，所以需要在Airflow里进行，迁移脚本会自动把需要配置的实例写入airflow_variables.json文件。

   airflow_variables.json内容示例：

2. 在Airflow页面的左侧菜单中，选择管理 > 变量，然后单击导入变量。

   

3. 在导入变量页面中，选择上传airflow_variables.json文件，然后在选择变量冲突解决方式区域选择覆盖模式，单击导入。

   

（可选）配置ECS连接

如果您的任务流中包含ECS相关节点，需要配置SSH连接。

1. 将ECS的SSH Private Key上传到OSS的挂载目录。如果您的ECS未配置SSH访问，需要先完成配置。

2. 在Airflow页面的左侧菜单中，选择管理 > 连接，然后单击添加连接。

   

3. 在添加连接页面中配置以下参数，然后单击保存。

   • 在标准字段区域，配置主机地址，即ECS实例的IP地址。如果ECS和Airflow在同一VPC中，可使用VPC内网IP。否则需要使用公网地址或先打通VPC网络。

     

   • 在额外字段JSON区域，指定key_file的目录，即OSS挂载目录在Airflow中的路径。

     

运行Airflow任务流

在Airflow页面的左侧菜单中选择Dags，选择已配置完成的任务流，打开任务流调度开关启用定时调度，或单击运行按钮手动运行测试。