信号量
多任务同步 多个任务可以等待同一个信号量，若信号量可用或信号量被释放，通常情况下，系统会将阻塞在该信号量上优先级最高的任务置于就绪状态，提供了面向所有阻塞任务的信号量释放机制，可以将阻塞在该信号量上的所有任务都置为就绪状态...
互斥量
而信号量按照起始的计数值的配置，可以存在多个任务获取同一信号量的情况，直到计数值减为0，则后续任务无法再获取信号量，当信号量的计数初值设置为1，同样有互斥的效果。但信号量无法避免优先级反转问题。优先级反转 优先级反转是一种不...
TimeseriesAnalyticalStore
全量同步或者增量同步。} 名称 类型 描述 store_name string 分析存储名称。time_to_live int32 分析存储数据保留时间。取值必须大于等于2592000秒（即30天）或者必须为-1（数据永不过期）。sync_option AnalyticalStoreSyncType 分析存储...
修改实例参数
sink.bulk.copy.enable 全量同步 全量迁移 数据写入MySQL、PostgreSQ时是否开启bulk copy模式，取值为：true（默认值）：开启bulk copy模式。false：关闭bulk copy模式。说明 需要与 sink.worker.type 参数配合使用。sink.worker.type 全量...
同步平台模型到本地代码
示例一：示例二：方式二：对编辑中的文件全量同步 说明 全量同步只会同步本地代码模型缺失的字段、方法，不会删除与修改本地已存在的字段、方法。在编辑中的文件上单击右键，选择 BizWorks>同步模型到本地代码。方式三：在Tool Window新增...
查看运维大屏
数据同步量 根据数据源类型展示所选业务日期内，同步数据量的拉取和写入曲线，快速查看同步数据量较大的引擎任务，后续可考虑向该类引擎任务进行资源倾斜。数据同步榜单 统计最近10个 最新失败实例 和 最新成功实例，以便您全局查看最新的...
全量数据索引构建
在BDS Web页面中单击 Lindorm Search 选择 全量同步 单击相应的任务名，就可以查看当前全量任务的状态，如果状态显示为SUCCESS，则说明构建完成。取消构建任务 如果想停止执行build 索引任务，则可以通过下述方式停止：hbase>cancel_build_...
PolarDB-X 2.0间的单向同步
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
同步时源库为MongoDB的注意事项及限制
全量同步期间必须关闭源MongoDB数据库的均衡器（Balancer），直至每个子任务都运行到增量阶段，否则可能会造成数据不一致。关于均衡器的操作，请参见 管理MongoDB均衡器Balancer。若您无需使用DTS提供的库表结构同步功能（例如目标端已配置...
PolarDB-X 2.0间的双向同步
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
增加或删除已运行任务的同步表
离线全量同步 参数 描述 离线任务名称规则 全量同步时的离线任务名称。创建解决方案后，会先生成一个离线任务用于同步全量数据，再生成实时任务实时同步增量数据。全量离线任务资源组 运行全量离线任务需要使用的独享数据集成资源组。目前...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
监控任务性能
功能 说明 全量同步链路拓扑 全量同步链路主要展示源库到DTS、DTS到目标库两部分的读写情况和网络信息，相关参数解释如下：源库到DTS的链路 BPS：DTS每秒从源库读取数据量，单位为MB/s。RPS：DTS每秒从源库读取的行数。网络延迟：DTS与源库...
自定义配置 DDL/DML
请勿在结构迁移/结构同步、全量迁移/全量同步阶段执行库或者表结构变更的 DDL 操作，否则可能导致数据迁移或数据同步项目中断。操作步骤 将数据迁移或数据同步项目配置至 选择迁移类型 或 选择同步类型 步骤。详情请参见相应类型的 数据...
一键实时同步至MaxCompute
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。说明 DataWorks的离线同步任务通过调度资源组将其...
一键实时同步至MaxCompute
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。说明 DataWorks的离线同步任务通过调度资源组将其...
自建MySQL同步至RDS MySQL
DTS默认仅实时同步增量数据，您也可以选择同时进行库表结构同步和全量同步，平滑地完成自建MySQL同步上云。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。说明 若您的MySQL数据库部署在其他云平台上，请使用相应的迁移方案...
MySQL整库离线同步到OSS
同步步骤：根据您的业务需求选择 全量同步、全量同步 和 增量同步。详情请参见：步骤二：配置同步任务。若您需要进行 一次性全量 或 周期性全量同步，请勾选 全量同步。若您需要进行 一次性全量周期性增量同步，请勾选 全量同步 和 增量...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
云数据库MongoDB版（分片集群架构）间的双向同步
说明 若您需设置条件过滤数据（全量同步阶段支持条件过滤数据，增量同步阶段不支持条件数据过滤），请在 已选择对象 中右击待同步的表，在弹出的对话框中设置过滤条件。设置方法请参见 设置过滤条件。如果使用了对象名映射功能（指定用于...
云数据库MongoDB版（分片集群架构）间的双向同步
说明 若您需设置条件过滤数据（全量同步阶段支持条件过滤数据，增量同步阶段不支持条件数据过滤），请在 已选择对象 中右击待同步的表，在弹出的对话框中设置过滤条件。设置方法请参见 设置过滤条件。如果使用了对象名映射功能（指定用于...
MySQL整库周期性增全量同步至Hive
若您需要进行一次性全量或周期性全量同步，此处请勾选 全量同步。若您需要进行一次性增量或周期性增量同步，此处请勾选 增量同步。若您需要进行一次性全量周期性增量同步，此处请同时勾选 全量同步 和 增量同步。网络与资源配置：在下拉框...
使用NimoShake将Amazon DynamoDB迁移至阿里云
说明 全量同步不支持断点续传功能，增量同步支持断点续传，如果增量同步过程中连接断开了，在一定时间内恢复连接是可以继续进行增量同步的。但在某些情况下，比如断开的时间过久，或者之前位点的丢失，都会导致重新触发全量同步。位点：...
MySQL整库周期性增全量同步至MaxCompute
同步步骤：若您需要进行一次性全量或周期性全量同步，此处请勾选 全量同步。若您需要进行一次性增量或周期性增量同步，此处请勾选 增量同步。若您需要进行一次性全量周期性增量同步，此处请同时勾选 全量同步 和 增量同步。网络与资源配置...
RDS PostgreSQL间的双向同步
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
云数据库MongoDB版同步至云原生多模数据库Lindorm
由于全量数据同步会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量同步完成后目标数据库的集合存储空间会大于源实例的集合存储空间。请确认DTS对数据类型为FLOAT或DOUBLE的列的同步精度是否符合业务预期。DTS会通过 ROUND...
无感集成（Zero-ETL）
库表结构同步 全量同步 增量同步 实例级别选择所需同步的DDL和DML 勾选所需同步的DML操作（insert、update和delete）和DDL操作（create、alter、drop、rename和truncate）。DML操作（insert、update和delete）。DDL操作（create、alter、...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
由于全量数据同步会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量同步完成后目标数据库的集合存储空间会比源实例的集合存储空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
由于全量数据同步会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量同步完成后目标数据库的集合存储空间会比源实例的集合存储空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
TRUNCATE TABLE 数据库账号的权限要求 数据库 库表结构同步 全量同步 增量同步 自建MySQL数据库 SELECT权限 SELECT权限 待同步对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限，以允许DTS创建库dts，...
PolarDB-X 1.0同步至PolarDB-X 2.0
如为增量数据同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量数据同步和增量数据同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因...
PolarDB MySQL版同步至MaxCompute
如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。...
Hologres整库周期性增全量同步至MaxCompute
场景1：周期全量配置方式 当同步步骤选择 结构迁移 和 全量同步 时，周期全量同步任务配置详情如下：选择同步表。您可根据在左侧 选择同步的源表 区域，选中Hologres中需要同步的源表，将其添加至右侧 已选库表 区域。当前支持通过正则表达...
配置告警规则
设置全量报警的告警规则，即全量同步运行时长大于或等于所设置的时间阈值，将触发告警。单击 全量报警 监控项 操作 列的 修改。设置全量同步运行的告警时间阈值（单位为小时）和告警联系人手机号码（上限为10个）。监控报警信息配置完成后...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
详情请参见 场景1：周期全量配置方式、场景2：一次性全量周期性增量配置方式 场景1：周期全量配置方式 当同步步骤选择 结构迁移 和 全量同步 时，周期全量同步任务配置详情如下：选择同步表。您可根据在左侧 选择同步的源表 区域，选中...
RDS MySQL与PolarDB MySQL版间的双向同步
在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。类型 说明 源和目标库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则...
同步时源库为PolarDB MySQL版的注意事项及限制
如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。...
- 产品推荐
- 这些文档可能帮助您