RDS PostgreSQL间的单向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。操作步骤 登录 新版DTS同步任务的列表页面。...
同步任务修改
同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击查看connector 2.选择需要同步的字段，选择完成后点击更新即可，无需重启 3.更新成功后再次...
变更ASM实例规格
说明 2023年7月12日之前创建的非商业版实例（标准版和专业版）升级至商业版时，ASM网关会同步重启。请在业务低峰期变更实例规格。关于如何计费，请参见 计费说明。标准版实例：1.9.7.114及以上版本，您可以登录ASM控制台手动变更至商业版。...
阿里邮箱AD同步&认证
五、小技巧 如果同步出现较严重延迟，过了很久部门账号或邮件组都没同步至邮箱侧，建议刷新AD对象的任意非同步认证相关的关键属性值来触发同步。如果涉及到对象比较多，也可以通过如下指令进行批量操作。方案1：直接打开cmd命令框 csvde-f ...
使用DTS同步数据时出现“Cannot parse"2013-05-00 00:...
如果任务处于增量同步阶段，则需要将这张表从同步对象中去除，将源表值修改为合法值，并将表添加到同步对象中，然后重启同步任务。如果是在整库同步的增量同步阶段报错，请提交工单处理。适用于 云原生数据仓库AnalyticDB MySQL版
方案概述
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。其他限制：类型 说明 其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，一键迁移会为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度...
边缘物业一体机静态IP配置错误
重启网卡服务需要远程SSH 登录一体机，切换到root 账号或者sudo 来执行命令 因为不同的机型可能网卡服务配置不一致,所以比较推荐的方式是直接重启物业一体机（特别是对未运行业务的机器）远程SSH 登录后，sudo reboot 或者现场直接重启...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
数据总线的审计事件
ReloadConnector 重启同步点。ResetConnectorOffset 重置同步点位。ResetSubscriptionOffset 重置订阅点位。SampleShard Shard采样。SplitShard 分裂Shard。UpdateConnectorField 更新同步点列信息。UpdateConnectorState 更新同步点状态。...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
通过数据同步功能同步SLS数据至数仓版
脏数据处理模式取值如下：中断同步（默认值）：数据同步终止，您需修改目标表的字段类型或修改为其他脏数据处理模式，再重启同步任务。按NULL处理：脏数据按NULL值写入目标表，并丢弃脏数据。例如：SLS数据总共有10行，某一字段中有2行是脏...
通过数据同步功能同步SLS数据至湖仓版
脏数据处理模式取值如下：中断同步（默认值）：数据同步终止，您需修改目标表的字段类型或修改为其他脏数据处理模式，再重启同步任务。按NULL处理：脏数据按NULL值写入目标表，并丢弃脏数据。例如：SLS数据总共有10行，某一字段中有2行是脏...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您变更目标端的唯一索引，需要重启数据同步项目，否则可能存在数据不一致的问题。节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。例如，如果时钟早于标准时间，可能导致延迟时间为...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
同步类型包括 结构同步、全量同步 和 增量同步，增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。DML 同步 包括 Insert、Delete 和 Update，默认全部勾选。DDL 同步 支持 ADD COLUMN ...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
常见问题
待同步任务重启并将增量数据同步到目标库后，目标库数据将与源库一致。删除增量同步任务源库中的数据，目标库中已同步的数据是否会删除？若增量同步任务所需同步的DML操作没有勾选 delete，则目标库中数据不会被删除，否则目标库中已同步的...
RDS PostgreSQL间的双向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。操作步骤 购买双向数据同步实例，请参见 购买...
PolarDB PostgreSQL版间的迁移
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。配置步骤 登录 新版DTS同步任务的列表页面。在页面左上角，选择同步实例所属地域。单击 创建任务，配置源库及目标库信息。说明 数据库类型都选择 PolarDB for ...
自建PostgreSQL同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS ...
自建PostgreSQL同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS ...
自建PostgreSQL同步至PolarDB PostgreSQL版（兼容...
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 账号创建及授权方式 自建PostgreSQL superuser权限。CREATE USER 和 用户权限管理。PolarDB PostgreSQL版（兼容Oracle）具备 ...
RDS PostgreSQL间的双向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。操作步骤 购买双向数据同步实例，请参见 购买...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
RDS MySQL与PolarDB MySQL版间的双向同步
说明 如果同步任务暂停或者重启后存在延迟，在延迟期间，这些策略均不生效，默认覆盖目标端数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标...
创建同步ElasticSearch
type id data ES5-router属性列为null，脏数据 ES6-router属性列为null，脏数据 ES7-router属性列为null，脏数据 查看同步任务 可以点击对应connector的详情⻚⾯查看同步任务的运⾏状态和点位等信息，包含同步点位、同步状态以及重启和停⽌...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 权限要求 源 PolarDB PostgreSQL版（兼容Oracle）集群 高权限账号。目标 PolarDB PostgreSQL版（兼容Oracle）集群 数据库Owner权限。重要 ...
常见错误码及排查方法
解决方法：非整库同步：建议重新同步这张表（即先从同步对象中去掉，然后删除目标库的表，再把这张表加入到同步对象中）。DTS会重新进行包括Schema拉取的全量同步，这样会跳过此类型的DDL操作。整库同步：在AnalyticDB MySQL中新建一张表，...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
导入与导出
任务处于增量同步阶段时，把这张表从同步对象中去掉，修改源表值为合法值，把表添加到同步对象中，然后重启同步任务。整库同步的增量同步阶段时，请联系阿里云技术支持打开非法值写入开关。开关打开后，所有非法值的写入会被转为null。DTS...
实时同步常见问题
原因：由于实时同步支持断点续传，为保障不丢失数据，在重启实时同步回溯位点时可能会往前回溯一部分数据，此过程可能导致之前的DDL消息再次被读取而再次报警。解决方案：当源端产生DDL变更时，手动在目标端数据库进行相应的DDL变更。启动...
MySQL实例间的双向同步
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
- 产品推荐
- 这些文档可能帮助您