同步方案选取指南
同步方案 原理说明 适用场景 使用限制 相关文档 DTS实现数据实时同步 通过订阅binlog的方式实现数据同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。对数据同步的实时性要求较高的场景。DTS在执行全量数据初始化时将占用源库和...
数据同步概述
编写代码的方式构建代码任务，以实现数据同步的流程：可选：上传应用函数资源，详情请参见 上传资源及引用。可选：新建脚本中使用到函数，详情请参见 新建用户自定义函数。新建同步目标表的创建，详情请参见 新建同步目标表。新建代码任务...
数据同步概述
编写代码的方式构建代码任务，以实现数据同步的流程：可选：上传应用函数资源，详情请参见 上传资源及引用。可选：新建脚本中使用到函数，详情请参见 新建用户自定义函数。新建同步目标表的创建，详情请参见 新建同步目标表。新建代码任务...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
接入 Android
使用 SDK 在 10.1.32 及以上版本基线中，mPaaS 中间层的 MPSync 类封装了数据同步组件所有 API，通过调用 MPSync 对象即可实现数据同步的所有功能。您可以通过下表快速了解数据同步的相关 API。更多关于 API 的详细信息，参见 Android 接口...
什么是数据传输服务DTS
功能特性 功能 介绍 相关文档 数据同步 实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步方案概览 数据同步功能特性 数据迁移 实现...
数据迁移、同步和恢复区别
数据迁移和同步的区别 数据迁移主要用于上云迁移，在勾选增量迁移时，可以实现数据同步的部分功能，但是不如数据同步灵活，例如不支持在线修改同步对象、不支持双向同步等。数据迁移属于一次性任务，迁移完成后即可释放实例。数据同步主要...
数据迁移、同步和恢复区别
数据迁移和同步的区别 数据迁移主要用于上云迁移，在勾选增量迁移时，可以实现数据同步的部分功能，但是不如数据同步灵活，例如不支持在线修改同步对象、不支持双向同步等。数据迁移属于一次性任务，迁移完成后即可释放实例。数据同步主要...
数据迁移、同步和恢复区别
数据迁移和同步的区别 数据迁移主要用于上云迁移，在勾选增量迁移时，可以实现数据同步的部分功能，但是不如数据同步灵活，例如不支持在线修改同步对象、不支持双向同步等。数据迁移属于一次性任务，迁移完成后即可释放实例。数据同步主要...
数据迁移、同步和恢复区别
数据迁移和同步的区别 数据迁移主要用于上云迁移，在勾选增量迁移时，可以实现数据同步的部分功能，但是不如数据同步灵活，例如不支持在线修改同步对象、不支持双向同步等。数据迁移属于一次性任务，迁移完成后即可释放实例。数据同步主要...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
Tair全球多活简介
说明 Tair 全球多活 在原生Redis AOF日志的基础上增加了server-id、opid等信息，同步通道通过获取Binlog实现数据同步。通道管理器 管理同步通道生命周期，负责子实例上的主备切换、备份重搭等异常事件的处理。产品优势 优势 说明 高可靠 ...
Redis全球多活简介
说明 Redis 全球多活 在原生Redis AOF日志的基础上增加了server-id、opid等信息，同步通道通过获取Binlog实现数据同步。通道管理器 管理同步通道生命周期，负责子实例上的主备切换、备份重搭等异常事件的处理。产品优势 优势 说明 高可靠 ...
配置ClickHouse输入组件
ClickHouse输入组件用于读取ClickHouse数据源的数据。同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置...后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 通过离线单条管道配置集成任务。
入仓解决方案
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近...说明 对于某些数据同步不支持的数据库（例如MongoDB实例），您可以通过增量数据迁移的方式来实现数据同步。
配置Greenplum输入组件
Greenplum输入组件用于读取Greenplum数据源的数据。同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入...后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 集成组件库开发说明。
配置SAP HANA输入组件
SAP HANA输入组件用于读取SAP HANA数据源的数据。同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP ...后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 通过离线单条管道配置集成任务。
产品优势
MongoShake 阿里云以Golang语言编写的通用平台型服务工具，可以实现数据同步。您可以使用该工具实现MongoDB数据库间的数据同步，详情请参见 使用MongoShake实现MongoDB实例间的单向同步。NimoFullCheck 用于检验源端DynamoDB和目的端...
配置MaxCompute输入组件
MaxCompute输入组件用于读取MaxCompute数据源的数据。同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute...后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 集成组件库开发说明。
配置GoldenDB输入组件
GoldenDB输入组件用于读取GoldenDB数据源的数据。同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的...后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。详情请参见 配置离线单条管道。
配置Microsoft SQL Server输入组件
Microsoft SQL Server输入组件用于读取Microsoft SQL Server数据源的数据。同步Microsoft SQL Server数据源的数据至...后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 通过离线单条管道配置集成任务。
Oracle数据源
上述是在Oracle Reader单线程模型下实现数据同步的一致性。Oracle Reader根据您配置的信息并发抽取数据，则不能严格保证数据一致性。当Oracle Reader根据 splitPk 进行数据切分后，会先后启动多个并发任务完成数据同步。多个并发任务相互...
DataX同步数据
Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通...
DataX同步数据
Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通...
常见问题
说明 对于某些数据同步不支持的数据库（例如MongoDB实例），您可以通过增量数据迁移的方式来实现数据同步。数据同步的工作原理是什么？数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中...
一站式HTAP服务
功能优势 高性价比 传统方案中，若您想通过PolarDB实现HTAP，您需要额外购买分析型数据库（如AnalyticDB PostgreSQL），并购买DTS服务实现数据同步，整体费用较高。PolarDB PostgreSQL版 一站式HTAP服务相比传统方案：价格上：一站式HTAP...
通过标签管理数据同步项目
创建数据同步项目后，您可以通过标签功能实现对数据同步项目的管理，快速筛选目标项目。本文为您介绍数据传输如何通过标签功能实现对数据同步项目的管理。使用限制 每个数据同步项目最多支持添加 4 个标签。所有数据同步项目的标签总数不得...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
应用场景
场景三：查询分载/读能力横向扩展 在有大量读请求的场景，大量读取流量可能会对主流程业务产生影响，这时可以通过构建只读库，主生产库与只读库之间通过数据同步服务实现数据的实时增量复制，将只读流量切换至只读实例，大大降低了主数据库...
不同阿里云账号下RDS实例间的数据同步
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
不同阿里云账号下RDS实例间的数据同步
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
全增量数据同步
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据和不写WAL的数据将不会被同步。增量同步中的日志管理 开启增量同步后，如果不消费数据，默认日志会保留48小时，超时后订阅关系自动取消，保留的数据自动删除。什么场景会导致...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
背景信息 由于TiDB的Binlog格式和实现机制与MySQL数据库存在一定区别，为实现增量数据同步，同时减少对源数据库的改动，您需要部署Kafka集群以及TiDB数据库的Pump和Drainer组件。由Pump组件实时记录TiDB产生的Binlog并提供给Drainer组件，...
Beam概述（公测）
支持主键/写入去重 Beam完全实现了Postgres原生的主键功能，您可以像使用Heap表一样在Beam表上构建主键索引，从而实现数据去重功能。在此基础上，Beam还支持了语法，实现了UPSERT功能。支持DTS同步 得益于主键的支持，Beam表可以和Heap表...
HBase数据同步与迁移
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据和不写WAL的数据将不会被同步。不支持搜索索引的数据迁移。注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，建议将源集群的日志...
Phoenix全增量迁移
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据、不写WAL的数据将不会被同步。注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，推荐修改一下源集群的日志保留时间，给增量同步...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，...
- 产品推荐
- 这些文档可能帮助您