离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
流式数据通道概述
支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率。MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据...
查看运维大屏
数据同步任务报警信息 统计最近时间实时同步任务运行产生的报警信息，以便您快速捕捉异常情况并及时解决。数据同步任务Failover信息 统计实时同步任务在指定时间内的Failover消息，以便总览任务Failover的状态。Failover详情请参见 实时...
概述
是 函数计算 TUPLE/BLOB 实时 否 Hologres TUPLE 实时 否 使用说明 用户使用数据同步时尽可能的进行同一Region的云产品之间的数据同步，一方面避免跨Region网络不通问题，另一方面也减少不同Region之间数据同步的网络时延。由于阿里云的...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
GetDISyncInstanceInfo
获取实时同步任务和同步解决方案任务的运行状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
DeployDISyncTask
发布实时同步任务和同步解决方案任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
购买流程
网络类型 数据同步任务使用的网络类型，固定为 专线。资源组 选择同步任务所属的资源组，相关介绍，请参见 什么是资源管理。购买量 订购时长 在预付费模式下，选择包年包月任务的时长和数量，包月可选择1~9个月，包年可选择1年、2年、3年和...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
PolarDB-X间的数据实时同步
如果需要在数据同步期间切换 PolarDB-X 的网络类型，在您执行完网络类型切换操作后，请调整同步链路的网络连接信息。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持...
从PolarDB-X同步至AnalyticDB for PostgreSQL
如果需要在数据同步期间切换 PolarDB-X 的网络类型，在您执行完网络类型切换操作后，请调整同步链路的网络连接信息。在成功启动数据同步作业后，如果在源库中新增了一个表并需要将其作为同步对象，您需要为数据同步作业 新增同步对象。费用...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
DB2数据源
由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会导致备库同步恢复的数据不是一份当前时间的完整镜像，与主库有较大差别。一致性约束 DB2在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如，一次同步...
从RDS同步至MaxCompute
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。仅支持表级别的数据同步。数据同步期间，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
从RDS同步至通过专线、VPN网关或智能接入网关接入的自...
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。全量初始化过程中，并发写入导致目标实例的表碎片，全量初始化完成后，目标实例的表空间比源实例的表空间...
从RDS同步至通过专线、VPN网关或智能接入网关接入的自...
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。全量初始化过程中，并发写入导致目标实例的表碎片，全量初始化完成后，目标实例的表空间比源实例的表空间...
从RDS同步至MaxCompute
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。仅支持表级别的数据同步。数据同步期间，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等...
同步时源库为PolarDB MySQL版的注意事项及限制
如果同步的源集群为 PolarDB MySQL版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认...
PostgreSQL数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以...
SQL Server数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 SQL Server在数据存储划分中属于RDBMS系统，对外可以...
创建AnalyticDB for MySQL3.0数据源
若您要使用DataWorks进行AnalyticDB for MySQL3.0任务的开发、管理，需先将您的...同时，可根据需要选择离线同步、实时同步、同步解决方案等场景执行相关数据同步操作。增删改查数据源：进入数据源管理页面执行编辑、删除等管理操作。
从自建MySQL同步至阿里云消息队列Kafka版
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。费用说明...
使用DataWorks
通过向导模式配置并运行数据同步任务 配置网络与资源。选择数据来源。在 数据来源 下拉列表中选择数据源类型为 MaxCompute(ODPS)，并选择创建好的MaxCompute 数据源名称。选择独享数据集成资源组。选择已创建的独享数据集成资源组，详情请...
AnalyticDB MySQL 2.0数据导入
如果业务存在实时写入流量，则需要在同步数据之前启动业务双写（即同时写入 AnalyticDB for MySQL 2.0和 数仓版（3.0）），以保证不会丢失数据同步期间产生的增量数据。通过MySQL客户端连接 AnalyticDB for MySQL 2.0集群。mysql-h host-P ...
从自建MySQL同步至云消息队列 Kafka 版
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。功能限制...
Amazon Redshift数据源
TYPE_TIMESTAMP java.sql.Timestamp TIMESTAMPTZ SQL_TYPE_TIMESTAMP java.sql.Timestamp VARCHAR SQL_VARCHAR 字符串 数据同步前准备：配置Amazon Redshift的网络连接 在DataWorks上进行数据同步前，您需要将Amazon Redshift的网络与数据...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
创建AnalyticDB for PostgreSQL数据源
若您要使用DataWorks进行AnalyticDB for PostgreSQL任务的开发、管理，需先将您的AnalyticDB for ...同时，可根据需要选择离线同步、同步解决方案等场景执行相关数据同步操作。增删改查数据源：进入数据源管理页面执行编辑、删除等管理操作。
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
同步时源库为PolarDB-X 2.0的注意事项及限制
如果同步的源实例为 PolarDB分布式版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标...
- 产品推荐
- 这些文档可能帮助您