离线同步能力说明

能力

描述

异构数据源间的数据同步

数据集成目前支持50+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、半结构化数据源之间数据传输。详情请参见：支持的数据源及同步方案。

复杂网络环境下的数据同步

离线同步支持阿里云云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。配置前需确保资源组与源端/目的端的网络连通性，配置详情请参见：网络连通方案。

同步场景

1. 支持的同步模式

• 周期性全量：将源表数据完整地、周期性地覆盖写入到目标表。适用于全量更新的场景。

• 周期性增量：每天/每小时只同步源表中新增或发生变化的数据。通过内置的调度参数（如${bizdate}）配合数据过滤的WHERE条件来实现，确保每次只拉取指定的数据写入对应的时间分区。详情参见：场景：配置增量数据离线同步任务。

• 历史数据回填：当需要一次性补录大量历史数据时，可利用运维中心的补数据功能，批量执行同步任务，高效完成历史数据的归档。

2. 支持的源端结构

• 单表到单表：最基础的同步方式，将一张源表的数据同步至一张目标表。

• 分库分表到单表 ：

  • 自动聚合来自多个物理表（如订单库 order_01, order_02...）的数据，并统一写入到一张目标表中。

  • 支持的数据源包括：MySQL、SQL Server、Oracle、PostgreSQL、PolarDB和AnalyticDB等。详情请参见：分库分表同步。

配置方式

您可以通过以下方式配置数据集成离线同步任务。

• 向导模式：通过可视化引导界面逐步完成配置，适合快速上手。该模式操作简单学习成本低，但部分高级功能不可用。

• 脚本模式：采用JSON脚本直接定义同步逻辑，适合进阶使用。该模式支持更复杂的配置场景，可实现精细化控制。

• OpenAPI创建：通过OpenAPI接口实现任务全生命周期管理，支持程序化操作。接口说明请参见：。

离线同步任务运维

• 监控报警：支持对离线同步任务的运行状态进行监控，包括任务未完成、出错、完成等场景的监控报警，并且支持通过邮件、短信、电话、钉钉群机器人和WebHook等多种报警方式将报警信息发送给报警接收人。

• 数据质量：任务提交发布后，可以在运维中心对目标表配置数据质量监控规则。目前仅部分数据库类型支持配置数据质量监控规则。

• 数据源环境隔离：同一数据源名称绑定开发与生产两套独立配置，任务执行时自动按环境切换数据源——开发调试用开发环境，生产调度用生产环境，防止测试误操作线上数据的风险。