迁移作业组织与调度

步骤一：数据筛选

系统从作业指定的范围中，筛选满足以下所有条件的非分区表和分区作为实际迁移对象：

1. 状态满足任一条件状态：

   1. 迁移状态不是 “完成”。

   2. 迁移状态是完成，但源端数据已更新。

      说明

      源端数据有更新的判断逻辑：

      更新元数据时，MMS 会拉取数据源的元数据（库、表、分区）进行缓存，并与上一次的缓存结果对比，如果发现特定元数据发生变化，则将表和分区标记为 数据已更新。

      • 元数据对比项：

        • 非分区表：使用 tableSchema, size, numRows, lastDdlTime, type 作为对比项，任一项不同则视为数据已更新。

        • 分区表：使用 size, numRows, lastDdlTime 作为对比项，任一项不同则视为数据已更新。

      • 不同数据源对比项值的来源：

        • BigQuery 使用 total_logical_bytes, total_rows作为 size 和 numRows 值。

        • Hive 使用 metastore table property: rawDataSize、numRows 作为 size 和 numRows 值。

        • DataBricks delta 表会额外使用 lastUpdateVersion作为对比项。

        • MaxCompute 使用 last_data_modified_time 作为 lastDdlTime。

2. 满足数据源的黑白名单配置与迁移作业的分区过滤配置。

步骤二：数据分组

系统根据表类型采用不同的任务分配策略：

• 非分区表

  每个非分区表独立分配一个迁移任务。

• 分区表

  根据数据源配置中单个任务处理的最多分区数量和单个任务处理的最多数量(GB)两个配置，将同一个分区表下的分区分配到一个或多个迁移任务。两个条件中任一条件先达到阈值，则触发任务分配。

  分区表任务分配示例：

  • 示例 1：如果设置单个任务处理的最多分区数量为 1，则每个迁移任务仅包含一个分区。

  • 示例 2：如果设置单个任务处理的最多分区数量为 100，单个任务处理的最多数据量为 1GB，当分区表中有两个分区并且 size 均大于 1GB 时，系统会为该表创建两个迁移任务，每个迁移任务包含一个分区。

示例一：创建数据库迁移作业

假设一个迁移作业指定迁移 database_a 包含以下表：

• 非分区表：table_a, table_b

• 分区表：table_c（含 100 个分区，每个分区 size = 10KB）, table_d（含 2 个分区，每个分区 size = 10G）

提交迁移作业时，数据源配置为：单个任务处理的最多分区数量=50，单个任务处理的最多数量(GB)=5。

若数据源配置的批次大小为 50，则生成以下迁移任务：

• 任务1：迁移 table_a

• 任务2：迁移 table_b

• 任务3：迁移 table_c 的分区 1-50

• 任务4：迁移 table_c 的分区 51-100

• 任务5：迁移 table_d 的分区 1

• 任务6：迁移 table_d 的分区 2

示例二：增量迁移

在上述database_a第一次迁移后，源端发生以下数据修改：

• 非分区表table_b插入新数据

• 新增非分区表table_e

• 删除分区表table_d

• 分区表table_c：

  • pt_100中新增数据

  • 删除pt_99

  • 新增pt_101

• 新增分区表table_f（无分区）

此时，再次创建database_a的数据迁移作业，则生成以下迁移任务：

• 任务1：迁移table_b

• 任务2：迁移table_c的分区100和分区101

• 任务3：迁移table_f的表结构