进行同步任务配置时,您可以先根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。本文以数据源维度为您展示数据集成各模块支持的产品能力。

背景信息

  • 数据集成包括离线同步、实时同步和同步解决方案三个功能模块,选择同步模块前,你可以了解各功能模块支持的能力情况。详情请参见:选择前了解:数据集成各模块能力
  • 您还可以根据源端待同步的库个数、表个数与需要写入目标端的表个数,选择对应的数据集成模块进行同步任务的配置。详情请参见:支持同步的库或表个数
  • 在实时同步场景下,你还需要了解写入的目标数据源,对源端DDL和DML操作的支持情况。详情请参见:支持的DML及DDL操作

支持的数据源及同步方案

数据集成包括离线同步、实时同步和同步解决方案三个功能模块,您可以根据各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
  • DataWorks离线同步为您提供数据读取(Reader)和写入插件(Writer)实现对数据源的读写操作。
  • DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。
  • DataWorks还为您提供多种数据源之间进行不同数据同步场景(整库离线同步、全增量实时同步)的同步解决方案。
说明 具体任务配置与实现您可进入离线同步实时同步同步解决方案模块进行操作。
数据源 离线同步 实时同步 同步解决方案
单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写
AWS S3 - - - - - - - - -
AnalyticDB for MySQL 2.0 - - - - - - -
AnalyticDB for MySQL 3.0 - - - -
AnalyticDB for PostgreSQL - - - - - - -
ApsaraDB For Oceanbase - - - - - -
ClickHouse - - - - - - - -
DataHub - - - -
DB2 - - - - - - -
DM(达梦) - - - - - - -
DRDS(polardb-x) - - - - -
Elasticsearch - - - - -
FTP - - - - - - - -
GBase8a - - - - - - - -
Graph Database(GDB) - - - - - - - -
HBase
  • HBase Reader:
  • HBase20xsql Reader:
  • HBase Writer:
  • HBase 11xsql Writer:
- - - - - - - -
HDFS - - - - - - - -
Hive - - - - - - -
Hologres - - - - -
HybridDB for MySQL - - - - - - -
Kafka - - - -
KingbaseES(人大金仓) - - - - - - - -
Lindorm - - - - - - - -
LogHub(SLS) - - - - - - -
MaxCompute - - - -
MaxGraph - - - - - - - - -
Memcache - - - - - - - - -
MetaQ - - - - - - - - -
MongoDB - - - - - -
MySQL - - -
OpenSearch - - - - - - - - -
Oracle - - - -
OSS - - - - - - -
OTSStream - - - - - - - - -
PolarDB - - -
PostgreSQL - - - - - -
Prometheus - - - - - - - - -
Redis - - - - - - - - -
RestAPI(HTTP形式) - - - - - - - -
SAP HANA - - - - - - - -
Sensors Data(神策) 不支持直接读取SensorsData中的数据,需要根据神策数据存储类型选择Hive、HDFS等插件来读取数据。 - - - - - - - -
StarRocks - - - - - - - -
Stream - - - - - - - -
SQL Server - - - - - - -
Table Store(OTS) - - - - - - - -
TSDB - - - - - - - - -
Vertica - - - - - - - -