数据集成是稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(MaxCompute、AnalyticDB for PostgreSQL和Hologres等)提供离线、批量数据的进出通道。

重要
  • 在网络可达的情况下,支持通过独享数据集成资源组实现跨账号、跨地域及同步本地IDC数据。例如跨账号同步将A账号下的MySQL数据库的数据可以同步至B账号的MongoDB等数据库中。
  • 数据源需要在连通网络的前提下进行数据同步,详情请参见配置资源组与网络连通
  • 数据集成支持向导模式脚本模式配置离线任务,但以下场景仅支持使用脚本模式配置任务:
    • 无法通过DataWorks数据集成新建数据源。
    • 数据源本身不支持使用向导模式配置任务,可直接通过脚本模式配置任务。
    • 部分插件的参数仅支持使用脚本模式配置任务。
  • 批量创建数据源目前不支持导入Excel格式的数据,您可以修改Excel的格式为CSV格式,再进行导入。

单表离线同步支持的数据源

DataWorks支持您在数据开发(DataStudio)界面配置单表离线同步。

数据源类型 抽取(Reader) 导入(Writer)
Amazon S3 Amazon S3 Reader 不支持
AnalyticDB for MySQL 2.0 AnalyticDB for MySQL 2.0 Reader AnalyticDB for MySQL 2.0 Writer
AnalyticDB for MySQL 3.0 AnalyticDB for MySQL 3.0 Reader AnalyticDB for MySQL 3.0 Writer
AnalyticDB for PostgreSQL AnalyticDB for PostgreSQL Reader AnalyticDB for PostgreSQL Writer
配置ApsaraDB for OceanBase数据源
说明 目前该数据源仅支持 使用独享数据集成资源组
ApsaraDB For Oceanbase Reader ApsaraDB For Oceanbase Writer
ClickHouse
说明 目前该数据源仅支持 使用独享数据集成资源组
ClickHouse Reader ClickHouse Writer
DataHub DataHub Reader DataHub Writer
DB2
说明 目前该数据源仅支持 使用独享数据集成资源组
DB2 Reader DB2 Writer
DM(达梦)
说明 目前该数据源仅支持 使用独享数据集成资源组
DM Reader DM Writer
DRDS DRDS Reader DRDS Writer
Elasticsearch
说明 当前该数据源的6.x及以上版本仅支持 使用独享数据集成资源组
Elasticsearch Reader Elasticsearch Writer
FTP FTP Reader FTP Writer
GBase8a
说明 目前该数据源仅支持 使用独享数据集成资源组
Gbase8a Reader Gbase8a Writer
Graph Database(GDB)
说明 目前该数据源仅支持 使用独享数据集成资源组
GDB Reader GDB Writer
HBase
说明 目前该数据源仅支持 使用独享数据集成资源组
HDFS
说明 目前该数据源仅支持 使用独享数据集成资源组
HDFS Reader HDFS Writer
Hive
说明 目前该数据源仅支持 使用独享数据集成资源组
Hive Reader Hive Writer
Hologres
说明 目前该数据源仅支持 使用独享数据集成资源组
Holo Reader Holo Writer
HybridDB for MySQL HybridDB for MySQL Reader HybridDB for MySQL Writer
Kafka
说明 目前该数据源仅支持 使用独享数据集成资源组
Kafka Reader Kafka Writer
KingbaseES(人大金仓)
说明 目前该数据源仅支持 使用独享数据集成资源组
KingbaseES Reader KingbaseES Writer
Lindorm
说明 目前该数据源仅支持 使用独享数据集成资源组
Lindorm Reader Lindorm Writer
LogHub(SLS) LogHub(SLS) Reader LogHub(SLS) Writer
MaxCompute MaxCompute Reader MaxCompute Writer
MaxGraph 不支持 Maxgraph Writer
Memcache 不支持 Memcache Writer
MetaQ
说明 目前该数据源仅支持 使用独享数据集成资源组
MetaQ Reader 不支持
MongoDB MongoDB Reader MongoDB Writer
MySQL MySQL Reader MySQL Writer
OpenSearch
说明 目前该数据源仅支持 使用独享数据集成资源组
不支持 OpenSearch Writer
Oracle Oracle Reader Oracle Writer
OSS OSS Reader OSS Writer
OTSStream OTSStream Reader 不支持
PolarDB PolarDB Reader PolarDB Writer
PostgreSQL PostgreSQL Reader PostgreSQL Writer
Redis 不支持 Redis Writer
RestAPI(HTTP形式)
说明 目前该数据源仅支持 使用独享数据集成资源组
RestAPI Reader RestAPI Writer
SAP HANA
说明 目前该数据源仅支持 使用独享数据集成资源组
SAP HANA Reader SAP HANA WRITER
Sensors Data(神策) 如需读取Sensors Data中的数据,请根据神策数据的存储类型来选择Hive、HDFS等插件进行数据获取。 Sensors Data Writer
StarRocks
说明 目前该数据源仅支持 使用独享数据集成资源组
StarRocks Reader StarRocks Writer
Stream Stream Reader Stream Writer
SQL Server SQL Server Reader SQL Server Writer
Table Store(OTS) Table Store(OTS)Reader Table Store(OTS)Writer
TSDB
说明 目前该数据源仅支持 使用独享数据集成资源组
不支持 TSDB Writer
Vertica
说明 目前该数据源仅支持 使用独享数据集成资源组
Vertica Reader Vertica Writer

整库离线同步支持的数据源

DataWorks支持您在数据集成主站新建整库离线同步方案,快速将来源数据源内所有表上传至目标数据源,帮助您节省大量初始化数据上云的批量任务创建时间。

当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、Elasticsearch等,支持的数据源类型和操作指导链接如下。

去向数据源 来源数据源 操作指导链接
MaxCompute 整库离线同步至MaxCompute
OSS 整库离线同步至OSS
Elasticsearch 整库离线同步至Elasticsearch