DataWorks数据集成提供了强大的整库实时同步解决方案，旨在帮助您将源数据库中的全部或部分表，以“全量+增量”一体化的方式，低延迟、自动化地复制到目标数据存储中。该功能基于实时计算引擎，能够自动完成数据的首次全量初始化，并无缝切换到对增量变更数据（CDC）的持续捕获，是实现数据库实时上云、构建实时数仓ODS层等场景的一站式解决方案。
使用场景
实时数仓ODS层构建
将线上业务数据库（如MySQL、Oracle）中的数据，实时、完整地同步至Hologres、StarRocks等实时数仓，为后续的大屏展示、即席查询等业务场景提供数据支撑。
数据库实时复制与灾备
在两个数据库实例之间建立实时复制链路，可用于读写分离、构建只读实例或实现同构/异构数据库的实时灾备。
数据实时上云/迁移
将本地IDC的数据库，平滑迁移至云上数据库服务。
构建实时数据湖/数据中台
将多个业务数据库的实时变更数据统一采集到数据湖（OSS、DLF）或数据仓库（MaxCompute、Hologres）中，构建企业统一的实时数据中台。
核心能力
实时整库同步的核心能力如下：
核心能力 | 功能点 | 功能说明 |
异构数据源间的整库同步 | - | 整库同步支持将本地IDC或其他云平台的数据迁移至MaxCompute、Hologres、Kafka等数仓或数据湖。详情请参见：支持的数据源及同步方案。 |
复杂网络环境下的数据同步 | - | 实时同步支持阿里云云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。配置前需确保资源组与源端/目的端的网络连通性，配置详情请参见：网络连通配置。 |
同步场景 | 全量同步 | 支持一次性将源端全量数据同步至目标表。 |
增量同步 | 支持将消息队列或CDC日志等流式数据实时捕获写入目标表或指定分区。 | |
全增量一体 |
| |
任务配置 | 批量表同步 | 支持同步整个数据库的所有表，也支持通过勾选或配置过滤规则，精确选择需要同步的部分表。 |
自动建表 | 一次配置即可处理源端数据库中的数百张表，系统将自动在目标端创建表结构，无需手动干预。 | |
灵活映射 | 支持自定义目标库/表命名规则；支持自定义源端和目标端的字段类型映射，灵活适应目标端的数据结构模型。 | |
DDL变更感知（部分链路支持） | 当源端表结构发生变更（新建/删除表或列等）时，可配置同步任务采取以下响应策略之一：
| |
DML规则配置 | DML消息处理用于在数据写入目标端之前，对源端捕获的变更数据（ | |
动态分区 | 若目标表为分区表，支持根据来源字段或源端事件变更时间进行动态分区。 重要 注意，分区个数过多会影响同步效率，单日新增分区超过1000个，分区创建失败并终止任务。 | |
任务运维 | 线上干预 | 支持断点续传，在任务中断后从指定的时间位点处恢复执行，确保数据同步不丢失；支持重跑，用于数据补全、修复异常或验证逻辑变更，保障数据一致性与业务连续性。 |
监控报警 | 支持业务延迟、任务状态、Failover、DDL通知等监控规则，并支持对触发的规则进行告警。 | |
资源调优 | DataWorks数据集成基于Serverless资源组，提供按任务粒度的弹性伸缩能力。 此外，您还可以通过配置分时段弹性策略，为任务在不同时间（如业务高峰与低谷）预设不同的资源规格。 |
开始使用
创建整库实时同步任务参见：整库实时同步任务配置。
支持的数据源
来源数据源 | 去向数据源 |
MaxCompute | |
AnalyticDB for MySQL（V3.0） | |
ApsaraDB for OceanBase | |
Data Lake Formation(DLF) | |
DataHub | |
Doris | |
Elasticsearch | |
Hologres | |
Kafka | |
LogHub | |
OSS | |
OSS-HDFS | |
SelectDB | |
StarRocks |