DataWorks为您提供多种数据源之间进行不同数据同步场景的同步解决方案,本文为您介绍DataWorks支持的同步解决方案详情。

支持的数据源及同步方案

目标端分类 支持的同步方案
同步数据至AnalyticDB MySQL 3.0 一键实时同步至AnalyticDB MySQL 3.0
同步数据至DataHub 一键实时同步至DataHub
同步数据至ElasticSearch 一键实时同步至Elasticsearch
整库离线同步至Elasticsearch
同步数据至Hologres 一键实时同步至Hologres
同步数据至Kafka 一键实时同步至Kafka
同步数据至MaxCompute 一键实时同步至MaxCompute
整库离线同步至MaxCompute
同步数据至MySQL 整库实时同步至MySQL
同步数据至OSS 整库离线同步至OSS
同步数据至Oracle 整库实时同步至Oracle
同步数据至PolarDB 整库实时同步至PolarDB

附录:各类型方案介绍

方案分类 细分类别 方案说明 数据写入说明(仅对写入分区表的场景进行说明)
一键实时同步方案 - 先同步全量数据,然后再实时同步增量数据至目标端。
  1. 任务配置当天T,源表全量数据一次性写入目标表T-1分区,源表增量数据与全量数据合并后实时写入目标表T-1分区。
  2. 任务配置第T+N天,源表增量数据与全量数据合并后实时写入表T+N-1分区。
说明 一键实时同步至MaxCompute场景下,任务配置当天会将数据写入增量Log表,待第二天再将源表增量数据合并写入全量表中。一键实时同步
整库实时同步方案 - 仅同步增量数据至目标端。 源表增量数据实时写入目标表T-1分区。
整库离线同步方案 离线全增量同步 先同步全量数据,然后周期性同步增量数据至目标端。
  1. 任务配置当天T,源表全量数据一次性写入目标表T-1分区。
  2. 任务配置第T+N天,源表增量数据周期性写入目标表T+N-1分区。
周期性全量同步 周期性同步源表全量数据至目标端。 任务创建第二天T+1,源表全量数据周期性写入目标表T分区。
说明 目前任务配置当天不进行数据同步。
一次性全量同步 一次性同步源表全量数据至目标端。 任务配置当天T,源表全量数据一次性写入目标表T-1分区。
周期性增量同步 周期性同步源表增量数据至目标端。 任务配置第二天T+1,源表增量数据周期性写入目标表T分区。
说明 目前任务配置当天不进行数据同步。
一次性增量同步 一次性同步源表增量数据至目标端。 任务配置当天T,源表增量数据一次性写入目标表T-1分区。