如何定制调度迁移链路（N2N迁移！）

调度迁移是大数据迁移的核心需求之一，然而由于调度平台的特性差异，工作流及任务的异构转换难度极高。传统以人力方式完成工作流转换迁移，耗时费力且易出错。一站式湖仓大数据迁移平台（Lake House Migration，LHM）提供了多种调度平台间的工作流迁移的能力，自动化完成调度平台的源端探查、异构转换与目标端写入。目前已覆盖主流大数据调度平台：DolphinScheduler、Apache Airflow、DataArts、Oozie等到DataWorks的迁移链路。

LHM自定义插件功能旨在为项目定制开发调度迁移链路提供基座，适用于以下情况：

1、二开主流开源调度平台迁移（如二开DolphinScheduler）。

2、自研调度平台迁移。

3、小众调度平台迁移。

4、在迁移中存在DAG定制化治理、改造需求。

5、其他非标场景。

LHM提供了完善的插件开发框架，其中包括标准化的输入输出规范、统一的标准流程和控制机制。此外，在 common 类库中，我们还准备了一系列可重复使用的原子转换函数，以便开发者能够高效利用。开发者只需专注于制定基础层级的转换逻辑，即可迅速推进调度迁移项目的开发进程。

本文档旨在介绍LHM自定义插件的开发流程和开发规范，并提供一个样例，帮助开发者快速上手。

什么是调度迁移？

架构图：

一个示例：

LHM调度迁移框架

调度迁移工具的转换链路由三个功能模块组成，源端探查、异构转换、目标端写入。本工具基于插件化思想设计，将三个功能模块规划为三类插件——Reader、Converter、Writer。在配置不同的“源”-“目标”调度迁移链路时，使用不同的插件。同时，为实现灵活的n2n迁移，我们需要将各个调度平台元素的数据结构标准化，因此构建了统一描述层，即BwmSpec包。

插件和数据结构的关系如下图所示：

快速开始

跟随LHM自定义插件操作手册开始定制迁移链路的开发：

自定义插件操作手册