场景：配置增量数据离线同步任务
具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量同步的所配置的参数可能不同，具体参数配置可以参考对应的Reader插件文档，详情可参考：支持的数据源与读写插件。例如：数据库类型 增量同步需配置的参数 支持的...
数据同步简介
高实时性 当客户端连接的网络状况良好时，数据同步可以保证非常高的推送实时性，消息推送耗时几乎是纯网络传输的耗时（1s 之内送达）。基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog...
关闭计算节点的CPU超线程
ECS的超线程基于HT技术，允许在一个物理核上并发地运行两个线程（Thread），一个线程可以视为一个vCPU，vCPU是ECS实例的虚拟处理核。在部分HPC场景下，需要关闭计算节点的CPU超线程，使得计算节点获得更好的性能表现。注意事项 各类型实例...
数据传输作业：数据集成
说明 MaxCompute独享数据集成资源组任务的并发值无最佳值，您需要根据实例数据量与期望同步时间设置，如果期望缩减同步时间可以购买最大并发线程数大的规格，单任务建议需要的资源规格请参见 性能指标。在配置同步任务前您需要确保数据集成...
使用数据传输同步数据
如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的...
自定义和查看CPU选项
您可以根据应用的性能需求灵活调整ECS实例的物理核心数和每核线程数（即调整ECS实例的vCPU），以获得更好的性能表现，并有效控制成本。例如，在内存密集型业务场景中，通过关闭超线程减少vCPU数量，可以提高内存配比，并降低软件许可费支出...
OceanBase 数据库 MySQL 租户之间的数据同步
同步类型包括 结构同步、全量同步 和 增量同步，增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。DML 同步 包括 Insert、Delete 和 Update，默认全部勾选。DDL 同步 支持 ADD COLUMN ...
存证服务API
Client Client 类是 antblockchain-gl API 通讯协议的实现，客户端是线程安全的，多线程可以显著提高 SDK 的性能，但不是越多越好，您需要根据实际需求测试最合理的线程数。客户端采用延迟连接，创建后并不会立即与服务器连接，当发生接口...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
同步类型包括 结构同步、全量同步 和 增量同步，增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。DML 同步 包括 Insert、Delete 和 Update，默认全部勾选。DDL 同步 支持 ADD COLUMN ...
RDS增量数据同步至MaxCompute
具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量同步的所配置的参数可能不同，具体参数配置可以参考对应的Reader插件文档，详情可参考：支持的数据源与读写插件。增量同步配置相关说明详情请参见：场景：配置增量...
RDS增量数据同步至MaxCompute
具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量同步的所配置的参数可能不同，具体参数配置可以参考对应的Reader插件文档，详情可参考：支持的数据源与读写插件。增量同步配置相关说明详情请参见：场景：配置增量...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的...
使用数据传输迁移数据
如果开启，请设置 RPS（反向增量同步阶段每秒最多可以同步至源端的数据行数的最大值限制）和 BPS（反向增量同步阶段每秒最多可以同步至源端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，反向增量同步实际可以...
现代IM系统中的消息系统—架构
消息同步 可以基于Timeline很简单的实现。图中的例子中，消息发送方是A，消息接收方是B，同时B存在多个接收端，分别是B1、B2和B3。A向B发送消息，消息需要同步到B的多个端，待同步的消息通过一个Timeline来进行交换。A向B发送的所有消息，...
数据库中的数据离线同步至Hologres
Hologres支持通过DataWorks平台将数据库中的数据离线同步至Hologres，进行高并发低延时的查询分析处理操作。本文将为您介绍使用DataWorks将各类数据库数据离线同步至Hologres的操作方法。前提条件 开通DataWorks，详情请参见 入门概述。...
BigQuery数据源
在实际业务场景中，通常会选择当天的数据进行同步，可以将 where 条件指定为 gmt_create>$bizdate：where 条件可以有效地进行业务增量同步。where 条件不配置或为空时，则视作不过滤。否 无 partition 配置分区信息，可以同步特定的分区，...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
增量同步 包括 DML 同步 和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。增量同步 的使用限制如下：如果您选择了 DDL 同步，当源端数据库发生数据传输不支持的增量 DDL 操作时，会存在数据迁移中断的风险。...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
增量同步 支持 DML 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。全量校验 在全量迁移完成、增量数据同步至目标端并与源端基本追平后，数据传输会自动发起一轮针对源端数据库配置的数据表和目标表的全量数据校验...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
LDAP配置
本文介绍如何进行LDAP（Lightweight Directory Access Protocol 轻量级目录访问协议）配置，配置完成后，阿里云盘企业版 可同步LDAP内的组织结构及用户，用户可使用LDAP账号直接登录 阿里云盘企业版，实现便捷管理网盘内的用户和团队。...
阿里邮箱AD同步&认证
如只同步某根OU，不需要同步的对象请勿放置根OU下，或通过给OU的url打上nombx字符标记，AD user的WWWHomePage打上nombx字符标记，安全组的WWWHomePage打上nombx字符标记，OU下的通讯组都同步不支持单个不同步。3.同步只做新增、禁用、更新...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步...一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错？收费常见问题 数据集成是怎么收费的？
全增量同步任务常见问题
一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错？PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性...
自建Oracle同步至PolarDB PostgreSQL版（兼容Oracle）
您自定义的Type可以同步到目标 PolarDB PostgreSQL版（兼容Oracle）集群，Oracle自动生成的Type Object（即内置对象）不会被同步。说明 PolarDB PostgreSQL版（兼容Oracle）集群已经支持Oracle中的内置对象，您无需同步。在DTS同步期间，若...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
全球消息路由
全球消息路由功能可用于跨地域间的消息同步，通过路由规则将消息从源实例的Topic中同步到目标实例的Topic，并支持过滤规则，按照指定的Tag将消息过滤后再进行同步。在容灾备份或异地多活场景下，您可以创建全球消息路由任务，确保跨地域间...
独享数据集成资源组
说明 独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量，而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量，请购买独享调度资源，详情请参见 购买指引。使用限制 独享数据集成资源组...
SQL Server数据源
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其他数据写入方，保证当前数据为静态数据，例如锁表、关闭备库同步等。缺点是可能影响在线业务。数据库编码问题 SQL Server Reader底层使用JDBC进行...
PostgreSQL数据源
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其它数据写入方，保证当前数据为静态数据，例如锁表、关闭备库同步等。缺点是可能影响在线业务。数据库编码问题 PostgreSQL在服务器端仅支持EUC_CN和...
Oracle数据源
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其它数据写入方，保证当前数据为静态数据。例如，锁表、关闭备库同步等。缺点是可能影响在线业务。数据库编码问题 Oracle Reader底层使用JDBC进行数据...
如何提升写入效率
当写入TPS较高时，可以适当调大消费者线程；异步和同步写入优化 异步写：异步写入调用put()方法即可；SDK的内部处理逻辑为：1）将Points放入内部队列；2）消费者线程从内部队列取出小于等于批次大小个数据点，发送个TSDB服务端；同步写：...
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
DB2数据源
工程化的方式存在取舍，在此提供以下解决思路，您可根据自身情况进行选择：使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其他数据写入方，保证当前数据为静态数据，例如锁表、关闭备库同步等。缺点...
离线同步并发和限流之间的关系
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
删除Group后仍然收到消息堆积的告警信息
删除 Group 后，消费线程未停止或者未发生Rebalance，那么消费线程还可以继续正常消费，因此还会收到堆积告警。解决方案 删除 Group 后，如果您不希望继续收到消息堆积的告警信息，请参见以下操作进行处理：确认服务端版本，请根据服务端...
- 产品推荐
- 这些文档可能帮助您