全部产品
数据传输服务DTS

产品架构

更新时间:2017-06-07 13:26:11   分享:   

本小节简单介绍下数据传输服务的整个系统架构及基本实现原理。

系统架构

下图为数据传输服务的系统架构图:

进入DTS控制台

(1) 系统高可用
数据传输服务内部每个模块都有主备架构,保证系统高可用。容灾系统实时检测每个节点的健康状况,一旦发现某个节点异常,会将链路秒级切换到其他节点。

(2) 数据源地址变更
对于数据订阅及同步链路,容灾系统还会监测数据源的连接地址切换等变更操作,一旦发现数据源发生连接地址变更,它会动态适配数据源新的连接方式,在数据源变更的情况下,保证链路的稳定性。

数据迁移基本原理

迁移原理

数据迁移任务提供多种迁移类型:结构对象迁移、全量数据迁移以及增量数据迁移。如果需要实现不停服迁移,那么迁移过程需要经历:
(1) 结构对象迁移
(2) 全量数据迁移
(3) 增量数据迁移

对于异构数据库之间的迁移,进行结构迁移时,DTS会从源库读取结构定义语法后,会根据目标数据库的语法定义,组装成目标数据库的语法定义格式,然后导入到目标实例中。

全量数据迁移过程持续较久,在这过程中,源实例不断有业务写入,为保证迁移数据的一致性,在全量数据迁移之前会启动增量数据拉取模块,增量数据拉取模块会拉取源实例的增量更新数据,并解析、封装、存储在本地存储中。

当全量数据迁移完成后,DTS会启动增量数据回放模块,增量数据回放模块会从增量拉取模块中获取增量数据,经过反解析、过滤、封装后同步到目标实例,从而实现源实例、目标实例数据实时同步。

数据订阅基础原理

订阅原理

如上图所示,数据订阅支持实时拉取RDS实例的增量日志,用户可以通过DTS SDK来数据订阅服务端订阅增量日志,根据业务需求,实现数据定制化消费。

DTS服务端的日志拉取模块主要实现从数据源抓取原始数据,并通过解析、过滤、标准格式化等流程,最终将增量数据在本地持久化。

日志抓取模块通过数据库协议连接并实时拉取源实例的增量日志。例如源实例为RDS For MySQL,那么数据抓取模块通过Binlog dump协议连接源实例。

DTS实现了日志拉取模块及下游消费SDK的高可用。

DTS容灾系统一旦检测到日志拉取模块出现异常,就会在健康服务节点上断点重启日志拉取模块,保证日志拉取模块的高可用。

DTS支持在服务端实现下游SDK消费进程的高可用。用户同时对一个数据订阅链路,启动多个下游SDK消费进程,服务端同时只向一个下游消费推送增量数据,当这个消费进程异常后,服务端会从其他健康下游中选择一个消费进程,向这个消费进程推送数据,从而实现下游消费的高可用。

实时同步基础原理

同步原理

数据传输服务的实时同步功能能够实现任何两个RDS实例之间的增量数据实时同步。2016.8月份后,将陆续支持OLTP->OLAP的数据实时同步。

同步链路的创建过程包括:
(1) 同步初始化, 同步初始化主要将源实例的历史存量数据在目标实例初始化一份。
(2) 增量数据实时同步, 当初始化完成后进入两边增量数据实时同步阶段,在这个阶段,DTS会实现源实例跟目标实例之间数据动态同步过程。

增量数据实时同步过程,DTS的底层实现模块主要包括:
(1) 日志读取模块
日志读取模块从源实例读取原始数据,经过解析、过滤及标准格式化,最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果源DB为RDS MySQL,那么数据抓取模块通过Binlog dump协议连接源库。

(2) 日志回放模块
日志回放模块从日志读取模块中请求增量数据,并根据用户配置的同步对象进行数据过滤,然后在保证事务时序性及事务一致性的前提下,将日志记录同步到目标实例。
DTS实现了日志读取模块、日志回放模块的高可用,DTS容灾系统一旦检测到链路异常,就会在健康服务节点上断点重启链路,从而有效保证同步链路的高可用。

本文导读目录
本文导读目录
以上内容是否对您有帮助?