在配置同步任务前,您需要在数据源管理页面配置好需要同步的数据源。数据集成目前支持MySQL、MaxCompute、Hologres、OSS、Kafka等几十种数据源,各数据源支持的同步方案及读写插件不同,您可以根据实际需求,在配置同步任务中的源端和目标端时选择合适的数据源。
支持的数据源及同步方案
数据集成包括离线同步、实时同步和全增量同步任务三个功能模块,您可以根据各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
DataWorks离线同步为您提供数据读取(Reader)和写入插件(Writer),以实现对数据源的读写操作。
DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。
DataWorks还为您提供多种数据源之间进行不同数据同步场景(整库离线同步、全增量实时同步)的同步。
实时同步场景下,各数据源支持的DDL与DML处理策略,详情请参见:支持的DML及DDL操作。
数据源 | 离线同步 | 实时同步 | 全增量同步任务 | |||||||
单表读 | 单表写 | 单表增量读 | 单表增量写 | 整库增量读 | 整库增量写 | 整库离线读 | 整库离线写 | 单表/整库全增量实时读 | 单表/整库全增量实时写 | |
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | ||||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
|
| - | - | - | - | - | - | - | - | |
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | |||||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | ||||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - |