支持的数据源及同步方案

在配置同步任务前,您需要在数据源管理页面配置好需要同步的数据源。数据集成目前支持MySQL、MaxCompute、Hologres、OSS、Kafka等几十种数据源,各数据源支持的同步方案及读写插件不同,您可以根据实际需求,在配置同步任务中的源端和目标端时选择合适的数据源。

支持的数据源及同步方案

数据集成包括离线同步、实时同步和全增量同步任务三个功能模块,您可以根据各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。

  • DataWorks离线同步为您提供数据读取(Reader)和写入插件(Writer),以实现对数据源的读写操作。

  • DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。

  • DataWorks还为您提供多种数据源之间进行不同数据同步场景(整库离线同步、全增量实时同步)的同步。

说明

数据源

离线同步

实时同步

全增量同步任务

单表读

单表写

单表增量读

单表增量写

整库增量读

整库增量写

整库离线读

整库离线写

单表/整库全增量实时读

单表/整库全增量实时写

Amazon S3数据源

支持

-

-

-

-

-

-

-

-

-

Amazon Redshift数据源

支持

支持

-

-

-

-

-

-

-

-

AnalyticDB for MySQL 2.0数据源

支持

支持

-

-

-

-

支持

-

-

-

AnalyticDB for MySQL 3.0数据源

支持

支持

-

支持

-

支持

支持

-

-

支持

AnalyticDB for PostgreSQL数据源

支持

支持

-

-

-

-

支持

-

-

-

ApsaraDB for OceanBase数据源

支持

支持

-

-

支持

-

-

-

支持

-

Azure Blob Storage数据源

支持

-

-

-

-

-

-

-

-

-

BigQuery数据源

支持

-

-

-

-

-

-

-

-

-

ClickHouse数据源

支持

支持

-

-

-

-

-

-

-

-

DataHub数据源

支持

支持

支持

支持

-

支持

-

-

-

支持

Data Lake Formation 2.0 数据源

-

-

-

image

-

-

-

-

-

-

DB2数据源

支持

支持

-

-

-

-

支持

-

-

-

Doris数据源

支持

支持

-

-

-

-

-

-

-

-

DM(达梦)数据源

支持

支持

-

-

-

-

支持

-

-

-

DRDS(PolarDB-X 1.0)数据源

支持

支持

-

-

支持

-

支持

-

支持

-

Elasticsearch数据源

支持

支持

-

支持

-

-

-

支持

-

支持

FTP数据源

支持

支持

-

-

-

-

-

-

-

-

GBase8a数据源

支持

支持

-

-

-

-

-

-

-

-

Graph Database(GDB)数据源

支持

支持

-

-

-

-

-

-

-

-

HBase数据源

  • HBase Reader:支持

  • HBase20xsql Reader:支持

  • HBase Writer:支持

  • HBase 11xsql Writer:支持

-

-

-

-

-

-

-

-

HDFS数据源

支持

支持

-

-

-

-

-

-

-

-

Hive数据源

支持

支持

-

-

-

-

-

支持

-

-

Hologres数据源

支持

支持

支持

支持

-

支持

支持

支持

-

支持

HttpFile数据源

支持

-

-

-

-

-

-

-

-

-

IoT数据源

支持

-

-

-

-

-

-

-

-

-

Kafka数据源

支持

支持

支持

支持

-

支持

-

-

-

支持

KingbaseES(人大金仓)数据源

支持

支持

-

-

-

-

-

-

-

-

Lindorm数据源

支持

支持

-

-

-

-

-

-

-

-

LogHub(SLS)数据源

支持

支持

支持

-

-

-

-

-

-

-

MaxCompute数据源

支持

支持

-

支持

-

支持

-

支持

-

支持

MariaDB数据源

支持

支持

-

-

-

-

-

-

-

-

Maxgraph数据源

-

支持

-

-

-

-

-

-

-

-

Memcache(OCS)数据源

-

支持

-

-

-

-

-

-

-

-

MetaQ数据源

支持

-

-

-

-

-

-

-

-

-

MongoDB数据源

支持

支持

-

-

支持

-

-

-

支持

-

MySQL数据源

支持

支持

支持

-

支持

-

支持

-

支持

-

OpenSearch数据源

-

支持

-

-

-

-

-

-

-

-

Oracle数据源

支持

支持

-

-

支持

-

支持

-

支持

-

OSS数据源

支持

支持

-

支持

-

支持

-

支持

-

-

OSS-HDFS数据源

支持

支持

-

支持

-

支持

-

-

-

-

PolarDB数据源

支持

支持

支持

-

支持

-

支持

-

支持

-

PolarDB-X 2.0数据源

支持

支持

-

-

-

-

支持

-

支持

-

PostgreSQL数据源

支持

支持

-

-

-

-

支持

-

支持

-

Redis数据源

-

支持

-

-

-

-

-

-

-

-

RestAPI(HTTP形式)数据源

支持

支持

-

-

-

-

-

-

-

-

Salesforce数据源

支持

-

-

-

-

-

-

-

-

-

SAP HANA数据源

支持

支持

-

-

-

-

-

-

-

-

SelectDB数据源

-

支持

-

-

-

支持

-

-

-

-

Sensors Data(神策)数据源

-

支持

-

-

-

-

-

-

-

-

StarRocks数据源

支持

支持

-

-

-

支持

-

支持

-

-

SQL Server数据源

支持

支持

-

-

-

-

支持

-

-

-

Tablestore数据源

支持

支持

-

-

-

-

-

-

-

-

Tablestore Stream数据源

支持

-

-

-

-

-

-

-

-

-

TiDB数据源

支持

-

-

-

-

-

-

-

-

-

TSDB数据源

-

支持

-

-

-

-

-

-

-

-

Vertica数据源

支持

支持

-

-

-

-

-

-

-

-