数据集成是稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(MaxCompute、AnalyticDB for PostgreSQL和Hologres等)提供离线、批量数据的进出通道。

重要
  • 在网络可达的情况下,支持通过独享数据集成资源组实现跨账号、跨地域及同步本地IDC数据。例如跨账号同步将A账号下的MySQL数据库的数据可以同步至B账号的MongoDB等数据库中。
  • 数据源需要在连通网络的前提下进行数据同步,详情请参见配置资源组与网络连通
  • 数据集成支持向导模式脚本模式配置离线任务,但以下场景仅支持使用脚本模式配置任务:
    • 无法通过DataWorks数据集成新建数据源。
    • 数据源本身不支持使用向导模式配置任务,可直接通过脚本模式配置任务。
    • 部分插件的参数仅支持使用脚本模式配置任务。

单表离线同步支持的数据源

DataWorks支持您在数据开发(DataStudio)界面配置单表离线同步。

数据源类型抽取(Reader)导入(Writer)
Amazon S3Amazon S3 Reader不支持
AnalyticDB for MySQL 2.0AnalyticDB for MySQL 2.0 ReaderAnalyticDB for MySQL 2.0 Writer
AnalyticDB for MySQL 3.0AnalyticDB for MySQL 3.0 ReaderAnalyticDB for MySQL 3.0 Writer
AnalyticDB for PostgreSQLAnalyticDB for PostgreSQL ReaderAnalyticDB for PostgreSQL Writer
配置ApsaraDB for OceanBase数据源
说明 目前该数据源仅支持使用独享数据集成资源组
ApsaraDB For Oceanbase ReaderApsaraDB For Oceanbase Writer
ClickHouse
说明 目前该数据源仅支持使用独享数据集成资源组
ClickHouse ReaderClickHouse Writer
DataHubDataHub ReaderDataHub Writer
DB2
说明 目前该数据源仅支持使用独享数据集成资源组
DB2 ReaderDB2 Writer
DM(达梦)
说明 目前该数据源仅支持使用独享数据集成资源组
DM ReaderDM Writer
DRDSDRDS ReaderDRDS Writer
Elasticsearch
说明 当前该数据源的6.x及以上版本仅支持使用独享数据集成资源组
Elasticsearch ReaderElasticsearch Writer
FTPFTP ReaderFTP Writer
GBase8a
说明 目前该数据源仅支持使用独享数据集成资源组
Gbase8a ReaderGbase8a Writer
Graph Database(GDB)
说明 目前该数据源仅支持使用独享数据集成资源组
GDB ReaderGDB Writer
HBase
说明 目前该数据源仅支持使用独享数据集成资源组
HDFS
说明 目前该数据源仅支持使用独享数据集成资源组
HDFS ReaderHDFS Writer
Hive
说明 目前该数据源仅支持使用独享数据集成资源组
Hive ReaderHive Writer
Hologres
说明 目前该数据源仅支持使用独享数据集成资源组
Holo ReaderHolo Writer
HybridDB for MySQLHybridDB for MySQL ReaderHybridDB for MySQL Writer
Kafka
说明 目前该数据源仅支持使用独享数据集成资源组
Kafka ReaderKafka Writer
KingbaseES(人大金仓)
说明 目前该数据源仅支持使用独享数据集成资源组
KingbaseES ReaderKingbaseES Writer
Lindorm
说明 目前该数据源仅支持使用独享数据集成资源组
Lindorm ReaderLindorm Writer
LogHub(SLS)LogHub(SLS) ReaderLogHub(SLS) Writer
MaxComputeMaxCompute ReaderMaxCompute Writer
MaxGraph不支持Maxgraph Writer
Memcache不支持Memcache Writer
MetaQ
说明 目前该数据源仅支持使用独享数据集成资源组
MetaQ Reader不支持
MongoDBMongoDB ReaderMongoDB Writer
MySQLMySQL ReaderMySQL Writer
OpenSearch
说明 目前该数据源仅支持使用独享数据集成资源组
不支持OpenSearch Writer
OracleOracle ReaderOracle Writer
OSSOSS ReaderOSS Writer
OTSStreamOTSStream Reader不支持
PolarDBPolarDB ReaderPolarDB Writer
PostgreSQLPostgreSQL ReaderPostgreSQL Writer
Redis不支持Redis Writer
RestAPI(HTTP形式)
说明 目前该数据源仅支持使用独享数据集成资源组
RestAPI ReaderRestAPI Writer
SAP HANA
说明 目前该数据源仅支持使用独享数据集成资源组
SAP HANA ReaderSAP HANA WRITER
Sensors Data(神策)如需读取Sensors Data中的数据,请根据神策数据的存储类型来选择Hive、HDFS等插件进行数据获取。Sensors Data Writer
StarRocks
说明 目前该数据源仅支持使用独享数据集成资源组
StarRocks ReaderStarRocks Writer
StreamStream ReaderStream Writer
SQL ServerSQL Server ReaderSQL Server Writer
Table Store(OTS)Table Store(OTS)ReaderTable Store(OTS)Writer
TSDB
说明 目前该数据源仅支持使用独享数据集成资源组
不支持TSDB Writer
Vertica
说明 目前该数据源仅支持使用独享数据集成资源组
Vertica ReaderVertica Writer

整库离线同步支持的数据源

DataWorks支持您在数据集成主站新建整库离线同步方案,快速将来源数据源内所有表上传至目标数据源,帮助您节省大量初始化数据上云的批量任务创建时间。

当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、Elasticsearch等,支持的数据源类型和操作指导链接如下。

去向数据源来源数据源操作指导链接
MaxCompute整库离线同步至MaxCompute
OSS整库离线同步至OSS
Elasticsearch整库离线同步至Elasticsearch