数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
产品架构
数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
功能概览
本文介绍 云备份 的数据同步功能概览，包括数据同步的简介、工作原理、操作流程和费用等。简介 数据同步功能是阿里云 云备份 提供的一项在线数据同步服务，便于将源端数据（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
并行元数据锁同步
您可以使用如下SQL语句，获取只读节点上用于同步MDL请求的工作线程状态信息：SELECT*FROM INFORMATION_SCHEMA.INNODB_LOG_MDL_THREAD;说明 PolarDB 集群版本需为以下版本之一，才有权限使用上述SQL语句：PolarDB MySQL版 8.0.1版本且...
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，...参考 创建 MySQL 到 MaxCompute 数据实时同步作业 的同步原理章节，了解DataHub中各字段的含义。
项目数据同步和API接口
项目数据同步原理 数据同步可通过HTTP/2或AMQP（推荐使用）推送方式，原理图如下。说明 平台不再提供开启HTTP方式同步数据，统一通过HTTP/2方式或AMQP方式（推荐使用）同步设备数据和用户数据。当前已使用HTTP方式推送的客户不受影响，可...
常见问题
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
操作指南FAQ
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
离线同步数据质量排查
同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，为了最大化提高数据同步的效率，任务在执行时会将split切分成多个子作业，每个子作业称之为一个Task。这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的...
查看任务日志
通过任务日志，您可以查看任务时间轴和运行日志信息。任务时间轴以时间线的维度展示购买、...replicates：同步线程写入目标库时失败的次数。infos 当前正在同步的DDL或者正在同步的表。切换 任务时间轴 页面，可以查看任务运行的具体时间点。
Logstash性能排查
Logstash管道每个阶段都运行在自己的线程中，input阶段将事件写入到内存（默认）或磁盘的中央队列，每个管道工作线程从此队列提取一批事件，通过filter对事件做预处理，最后通过output输出预处理后的事件。本文结合日常实践，为您提供...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
抢占式DDL
若此时只读节点的表上存在访问表的事务，MDL锁同步线程便会被阻塞。如果在超时时间内，只读节点始终无法获得MDL-X锁，客户端则会返回错误 ERROR 8007(HY000):Fail to get MDL on replica during DDL synchronize。对于含有多个只读节点的 ...
Parallelism Hints
摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）扫描。与其他方法（如顺序扫描）相比，此过程可提供性能改进。参数 参数 说明 table 要应用并行...
Parallelism Hints
摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）扫描。与其他方法（如顺序扫描）相比，此过程可提供性能改进。参数 参数 说明 table 要应用并行...
C SDK
客户端计算与 I/O 逻辑分离：日志异步输出，不阻塞工作线程。可靠退出：程序退出时，会调用接口将日志持久化，待下次应用启动时将数据发送，保证数据可靠性。详情参见 程序可靠退出方案。分支选择 C Producer根据不同的设备类型和使用场景...
“卡死”问题的治理
internalStack：卡死时，mPaaS 框架自身的工作线程堆栈。“卡死”问题治理原则 导致“卡死”的原因非常多，基本的原因类型包括：读写权限问题、网络等待、线程死锁。“卡死”问题可能由一些偶发因素导致，有些和代码逻辑相关，有些和系统...
BE参数配置
check_consistency_worker_count 默认值：1 说明：计算tablet的校验和checksum的工作线程数。chunk_reserved_bytes_limit 默认值：20%类型：Int32 说明：Chunk Allocator的reserved bytes限制，通常被设置为mem_limit的百分比。默认单位：...
参数配置
thrift_server_max_worker_threads 4096 Thrift Server最大工作线程数。thrift_client_timeout_ms 0 Client超时时间。默认值为0，表示永远不会超时。brpc_idle_wait_max_time 10000 BRPC的空闲等待时间，单位为ms，默认为10s。query_port ...
参数配置
thrift_server_max_worker_threads 4096 Thrift Server最大工作线程数。thrift_client_timeout_ms 5000 Thrift客户端链接的空闲超时时间，即链接超过该时间无新请求后则将链接断开。brpc_idle_wait_max_time 10000 BRPC的空闲等待时间，...
Page Cache限制功能
工作原理 开启Page Cache限制功能后，memcg粒度的工作原理如下。当memcg进程分配Page Cache时，判断当前memcg的Page Cache是否超过限制，并从当前memcg开始往上遍历，逐级检查父memcg的 memory.pagecache_limit 值，如果该值为0，表示父...
数据写入、更新、点查场景压测最佳实践
多个点查请求异步提交后，当客户端一个工作线程中判断满足攒批大小或者提交间隔后，会把多个点查请求通过攒批方式用一条SQL批量处理。异步模式适合吞吐需求高、latency需求相对较低的场景，如Flink消费实时数据进行高吞吐的维表关联等。点...
无锁结构变更方案对比
Online修改工具：PT-Online（PT-Online-Schema-Change）：工作原理是创建和源表A一样的表A_gst执行DDL操作，同时在A上创建一个DML触发器，然后将A中的数据拷贝到A_gst，在拷贝过程中产生的增量变更就用触发器完成同步更新。拷贝结束后执行...
Elasticsearch数据源
工作原理 Elasticsearch Reader的工作原理如下：通过Elasticsearch的_search scroll slice（即游标分片）方式实现，slice结合数据集成任务的task多线程分片机制使用。根据Elasticsearch中的Mapping配置，转换数据类型。更多详情请参见 ...
为什么云存储网关与OSS上的文件不一致
工作原理 详情请参见 基于按需扫描机制的常规反向同步。详情请参见 基于消息通知的极速同步。详情请参见 基于API触发的单次反向同步。基于按需扫描机制的常规反向同步 云存储网关默认采用基于按需扫描机制的 反向同步 功能，将OSS上的变化...
常见问题
数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改...
通过Logstash将PolarDB-X（DRDS）数据同步至Elastic...
参数 说明 管道工作线程 并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。管道批大小 单个工作线程在尝试执行Filter和Output前，可以从Input...
通过Logstash将RDS MySQL数据同步至Elasticsearch
参数 说明 管道工作线程 并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。管道批大小 单个工作线程在尝试执行Filter和Output前，可以从Input...
自适应扫描
自适应扫描线程通过poll的方式在需要时同步轮询PX Worker进程的请求和响应。扫描任务协调。PX Worker进程在执行顺序扫描算子时，会首先向QC进程发起询问请求，并将以下信息发送给QC端的自适应扫描线程。扫描任务的编号。扫描动作（正向/...
自适应扫描
自适应扫描线程通过poll的方式在需要时同步轮询PX Worker进程的请求和响应。扫描任务协调。PX Worker进程在执行顺序扫描算子时，会首先向QC进程发起询问请求，并将以下信息发送给QC端的自适应扫描线程。扫描任务的编号。扫描动作（正向/...
顺序消息
顺序消息只支持可靠同步发送方式，不支持异步发送方式，否则将无法严格保证顺序。顺序消息是否支持集群消费和广播消费？顺序消息暂时仅支持集群消费模式，不支持广播消费模式。TCP SDK示例代码 TCP协议下的示例代码请参见以下文档：Java：...
- 产品推荐
- 这些文档可能帮助您