数据集成包括离线同步、实时同步和同步解决方案三个功能模块。您可以根据源端待同步的库个数、表个数与需要写入目标端的表个数,选择合适的数据集成功能模块进行同步任务的配置。本文为您介绍如何从支持的库或表个数维度选择合适的功能模块。

背景信息

  • 选择同步模块前,您可以了解各功能模块的能力,详情请参见:选择前了解:数据集成各模块能力
  • 进行同步任务配置时,您还可以根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。详情请参见:支持的数据源与读写能力
  • 在实时同步场景下,您还需要了解写入的目标数据源,对源端DDL和DML操作的支持情况。详情请参见:支持的DML及DDL操作

选择同步方案

数据集成按照同步表或库个数分为以下三类场景,您可以根据源端待同步的库个数或表个数与需要写入目标端的表个数选择对应的数据集成模块进行同步任务的配置。
说明 具体任务配置与实现您可进入离线同步实时同步同步解决方案模块进行操作。
数据同步场景 支持的功能模块
同步源端单表数据至目标端单表(单表至单表)
支持同步单表数据至单表的功能模块有:离线同步实时同步同步解决方案。其中:
  • 离线同步:支持单表至单表的全量同步或增量同步。
  • 实时同步:支持单表至单表的增量数据同步。
  • 同步解决方案:支持单表至单表的全增量实时同步,即一次性全量同步,实时增量同步。
同步源端多库多表数据至目标端多表(多表至多表)
支持同步单表数据至单表的功能模块有:实时同步同步解决方案。其中:
  • 实时同步:支持多表至多表的增量数据同步。
  • 同步解决方案:支持多表至多表的整库离线同步和全增量实时同步。
同步源端分库分表数据至目标端单表(多表至单表)
支持同步单表数据至单表的功能模块有:离线同步实时同步同步解决方案。其中:
  • 离线同步:支持多表至单表的全量同步或增量同步。
  • 实时同步:支持多表至单表的增量数据同步。
  • 同步解决方案:支持多表至单表的全增量实时同步,即一次性全量同步,实时增量同步。