实时同步任务告警设置最佳实践
指标4：Failover 报警监控原理与适用场景 配置建议 Failover指标是指当实时同步进程发生异常退出时，为提升进程可靠性，数据集成控制服务会重新拉起进程尝试恢复失败退出同步进程，进而提升同步进程可靠性。如果关注任务Failover信息，可以...
GBase8a数据源
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
DB2数据源
说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本Demo {"type":"job","version":"2.0",/版本号。steps":[{"stepType":"stream","parameter":{},"name":"Reader","category":"reader"},{"stepType":"db2",/插件...
DM（达梦）数据源
说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo {"type":"job","steps":[{"stepType":"oracle","parameter":{"datasource":"aaa","column":["PROD_ID","name"],"where":"","splitPk":"","encoding":"UTF...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
同步 OceanBase 数据库的数据至 DataHub
oms_sequence STRING 数据至同步进程内存中的时间戳，由时间+5 位递增数字组成。如果发生时钟回退的情况，会导致数据不一致。oms_record_type STRING 变更类型，包括 UPDATE、INSERT 和 DELETE。oms_is_before STRING 如果是 UPDATE 类型，...
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。使用限制 离线同步支持读取视图表。支持的版本 支持版本最高至7.0（含）...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
常见问题
为什么增量同步任务不能同步数据？如果DTS实例只配置了增量同步任务，则DTS只会同步任务启动之后的增量数据，任务启动前的数据不会同步至目标库。建议配置任务时同时勾选 增量同步、库表结构同步 和 全量同步，以保障数据一致性。同步RDS...
MySQL数据源
实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢？MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？如何处理编码格式设置/乱码问题导致的脏...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
WAL日志并行回放
目的是让有依赖关系的任务尽量被同一个进程执行，减少进程间同步的开销。如果期望优先分配的进程队列已满，或者没有相同的Task Tag在执行，则在进程组中按顺序选择一个进程，从中获取状态为 Idle 的Task Node来调度任务执行。目的是让任务...
功能特性
MySQL实例间的双向同步 PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步 RDS PostgreSQL间的双向同步 云数据库MongoDB版间的双向同步 云原生内存数据库Tair间的双向同步 一键调转正反向同步 支持将双向同步实例的方向进行调转。...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
实时同步常见问题
实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时同步数据时，如何处理TRUNCATE？如何提高实时同步的速度和性能？实时同步是否支持在界面运行？实时同步MySQL数据源时速度为什么会变慢？实时同步中...
计费常见问题
本文汇总了数据传输服务DTS（Data Transmission Service）...Q：为什么数据同步实例的价格普遍高于数据迁移实例？A：数据同步具备更多的高级特性，例如在线调整同步对象和MySQL双向同步，且数据同步基于内网传输，可以保证更低的网络延时。
跨账号同步ECS主机名
什么是同步ECS主机名 同步ECS主机名，是指通过PrivateZone自动获取ECS服务器实例信息中的主机名配置，然后根据ECS主机名在privateZone中一键生成相应的内网DNS解析记录（即主机名记录）。什么是跨账号同步ECS主机名 跨账号同步ECS主机名是...
跨账号同步ECS主机名
什么是同步ECS主机名 同步ECS主机名，是指通过内网DNS解析自动获取ECS服务器实例信息中的主机名配置，然后根据ECS主机名在内网DNS中一键生成相应的内网解析记录（即主机名记录）。什么是跨账号同步ECS主机名 跨账号同步ECS主机名是指，例如...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
HybridDB for MySQL数据源
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
SAP HANA数据源
SAP HANA数据源为您提供读取和写入SAP HANA双向通道的功能，本文为您介绍DataWorks的SAP HANA数据同步的能力支持情况。使用限制 离线同步支持读取视图表。目前该数据源仅支持 独...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1024
MariaDB数据源
如果该值设置过大，会导致数据同步运行进程OOM异常。否 256 updateColumn 当 writeMode 配置成 update 时，发生遇到主键/唯一性索引冲突时所更新的字段。字段之间用英文逗号所分隔，例如"updateColumn":["name","age"]。否 无
KingbaseES（人大金仓）数据源
KingbaseES数据源为您提供读取和写入KingbaseES双向通道的功能，本文为您介绍DataWorks的KingbaseES数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1024
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）数据源为您提供读取和写入DRDS（PolarDB-X）双向通道的功能，本文为您介绍DataWorks的DRDS（PolarDB-X）数据同步的能力支持情况。支持的版本 实时读取 支持...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
PolarDB数据源
但是该值设置过大可能会造成数据同步运行进程OOM情况。否 1,024 updateColumn 当 writeMode 配置成 update 时，发生遇到主键/唯一性索引冲突时所更新的字段。字段之间用英文逗号所分隔，例如"updateColumn":["name","age"]。说明 目前仅...
PolarDB-X 2.0同步至Tablestore
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 同步至表格存储Tablestore。前提条件 已创建Tablestore实例。具体操作，请参见 使用流程。已获取Tablestore实例所属阿里云账号（主账号）的AccessKey ID和AccessKey ...
运维操作
在 数据同步服务>运维 页面，您可以查看并新建拉取进程或写入进程。新建进程 新建拉取进程 进入数据同步服务控制台页面，在左侧导航栏中选择 运维。在运维页面，单击 新建拉取进程操作。在新弹出的对话框中，完成以下信息配置：选择集群：...
离线同步并发和限流之间的关系
问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很慢，为什么我的独享资源组经常等待资源？并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当...
Logstash FAQ
通过logstash同步数据时报错"[routing]is missing for join field[joinField]"，是什么原因？管道创建后，进程卡住了，实例变更进度不变，如何处理？Logstash私网地址是否能ping通？Logstash在两个Elasticsearch之间同步数据，如何保证...
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
操作指南FAQ
开启版本控制的OSS Bucket在使用极速同步时需要注意什么？其他：如何解决在windows2019操作系统挂载SMB共享失败的问题？混合云存储网关的传输加速是什么？如何使用云存储网关设置MIME类型？文件网关支持哪些字符集？文件网关延迟上传的使用...
实时同步任务运维
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作...常见问题 为什么实时同步任务延迟较大？
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
常见问题
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？块网关FAQ 如何使用块网关创建文件系统并刷新缓存到iSCSI盘？块网关的数据...
导入与导出
解决方法：非整库同步：建议重新同步这张表（即先从同步对象中去掉，然后删除目标库的表，再把这张表加入到同步对象中），DTS会重新进行包括schema拉取的全量同步，这样会跳过此类型的DDL。整库同步：在AnalyticDB MySQL中新建一张表，表名...
- 产品推荐
- 这些文档可能帮助您