实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步,您可以根据数据源的支持情况,配置实时同步任务,本文为您介绍单表实时同步及整库实时同步支持的数据源情况。

背景信息

使用DataWorks的实时数据同步的操作流程一般包含以下几个流程:
  1. 数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见实时同步支持的数据源
    说明 数据源相关能力介绍详情请参见:数据源概述
  2. 购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组
  3. 独享数据集成资源组与数据源网络打通。详情请参见:配置资源组与网络连通
  4. 数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述
  5. 实时同步任务配置:配置单表增量数据实时同步配置整库增量数据实时同步

单表实时同步支持的数据源

单表实时同步支持输入、输出和转换三种类型的插件,单表实时同步任务配置详情请参见单表增量数据实时同步
说明 单表实时同步支持如下转换插件,您可以根据业务需求,对输入数据源进行数据过滤、字符串替换和数据脱敏处理后,再将数据输出至目标数据库。
数据源 单表实时读 单表实时写
AnalyticDB for MySQL 3.0 - 配置AnalyticDB MySQL输出
DataHub DataHub输入 配置DataHub输出
Elasticsearch - 配置Elasticsearch输出
Hologres - Hologres输出
Kafka Kafka输入 配置Kafka输出
LogHub(SLS) LogHub(SLS)输入 -
MaxCompute - MaxCompute输出
MySQL MySQL Binlog输入 -
PolarDB PolarDB MySQL输入 -

整库实时同步支持的数据源

数据源 整库实时读 整库实时写
AnalyticDB for MySQL 3.0 - 整库同步至AnalyticDB MySQL 3.0
说明 仅支持同步PolarDB、MySQL、OceanBase数据源至AnalyticDB MySQL。
配置ApsaraDB for OceanBase数据源 OceanBase环境准备 -
DataHub - 整库实时至DataHub
说明 仅支持同步PolarDB、OceanBase、MySQL及Oracle数据源至DataHub。
DRDS(polardb-x) DRDS环境准备 -
Hologres - 整库同步至Hologres
说明 仅支持同步PolarDB、MongoDB、Oracle、MySQL、DRDS、SQL Server、数据源至Hologres。
Kafka - 整库同步至Kafka
说明 仅支持同步MySQL、Oracle和PolarDB数据源至Kafka。
MaxCompute - 整库同步至MaxCompute
说明 仅支持同步MySQL、Oracle、OceanBase和PolarDB数据源至MaxCompute。
MongoDB 支持 -
MySQL MySQL环境准备 -
Oracle Oracle环境准备 -
PolarDB PolarDB环境准备 -
PostgreSQL PostgreSQL环境准备 -