全部产品
阿里云办公

数据同步

更新时间:2018-10-22 18:21:46

数据实时同步功能旨在帮助用户实现两个数据源之间的数据实时同步。通过数据实时同步功能可实现异地多活数据异地灾备本地数据灾备数据异地多活跨境数据同步查询、报表分流云BI实时数据仓库等多种业务场景。

功能列表

DTS支持的同步功能如下表:

同步源实例 同步目标实例 单向/双向同步
通过专线/VPN网关/智能网关接入阿里云的自建MySQL RDS For MySQL
ECS上的自建MySQL
通过专线/VPN网关/智能网关接入阿里云的自建MySQL
单向同步
双向同步
ECS上的自建MySQL RDS For MySQL
ECS上的自建MySQL
通过专线/VPN网关/智能网关接入阿里云的自建MySQL
单向同步
双向同步
RDS For MySQL RDS For MySQL 单向同步
双向同步
RDS For MySQL
ECS上的自建MySQL
通过专线/VPN网关/智能网关接入阿里云的自建MySQL
MaxCompute(原ODPS) 单向同步
RDS For MySQL
ECS上的自建MySQL
通过专线/VPN网关/智能网关接入阿里云的自建MySQL
AnalyticDB(分析型数据库) 单向同步
RDS For MySQL
ECS上的自建MySQL
通过专线/VPN网关/智能网关接入阿里云的自建MySQL
Datahub(流计算) 单向同步
DS For MySQL
ECS上的自建MySQL
通过专线/VPN网关/智能网关接入阿里云的自建MySQL
Elasticsearch 单向同步
DRDS DRDS 单向同步
DRDS AnalyticDB(分析型数据库) 单向同步
DRDS Datahub(流计算) 单向同步

DTS支持的各种数据源的版本如下表:

数据源 源实例版本 目标实例版本
MySQL->MySQL 5.1、5.5、5.6、5.7 5.1、5.5、5.6、5.7
MySQL->Elasticsearch 5.1、5.5、5.6、5.7 阿里云支持的所有Elasticsearch的版本
MySQL->ADS 5.1、5.5、5.6、5.7 阿里云支持的所有ADS的版本
MySQL->MaxCompute 5.1、5.5、5.6、5.7 阿里云支持的所有MaxCompute的版本
MySQL->Datahub 5.1、5.5、5.6、5.7 阿里云支持的所有Datahub的版本
DRDS->DRDS 阿里云支持的所有DRDS的版本 阿里云支持的所有DRDS的版本
DRDS->ADS 阿里云支持的所有DRDS的版本 阿里云支持的所有ADS的版本
DRDS->Datahub 阿里云支持的所有DRDS的版本 阿里云支持的所有Datahub的版本

同步对象

  • 数据同步的同步对象的选择粒度可以为:。用户可以根据需要同步某几个表的数据。
  • 数据同步支持库、表、列名映射,即用户可以进行两个不同库名的数据库之间的同步,或两个不同表名的表之间的数据同步。
  • 数据同步支持列选择,即用户可以根据业务需求,只同步表中的某几列数据。

同步作业

同步作业是数据实时同步的基本单元。如果要进行两个实例间的数据同步,必须在数据传输控制台创建同步作业。

同步作业在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:

作业状态 状态说明 可进行操作
预检中 同步作业正在进行启动前的预检查 - 查看同步配置
- 删除同步
- 复制同步配置
- 配置监控报警
预检查失败 同步作业预检查没有通过 - 预检查
- 查看同步配置
- 修改同步对象
- 修改同步速度
- 删除同步
- 复制同步配置
- 配置监控报警
未启动 迁移任务已经通过迁移之前的预检查,但是还没有启动 - 预检查
- 开始同步
- 修改同步对象
- 修改同步速度
- 删除同步
- 复制同步配置
- 配置监控报警
同步初始化中 同步作业正在进行同步初始化 - 查看同步配置
- 删除同步
- 复制同步配置
- 配置监控报警
同步初始化失败 同步作业在初始化过程中,迁移失败 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 删除同步
- 复制同步配置
- 配置监控报警
同步中 同步作业正常同步中 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 暂停同步
- 删除同步
- 复制同步配置
- 配置监控报警
同步失败 同步作业同步异常 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 启动同步
- 删除同步
- 复制同步配置
- 配置监控报警
暂停中 同步作业执行了暂停,处于暂停状态 - 查看同步配置
- 修改同步对象
- 修改同步速度
- 启动同步
- 删除同步
- 复制同步配置
- 配置监控报警

当任务处于 同步失败或同步初始化失败 的状态时,7天之内这个同步实例会被后台启动恢复。如果需要停止同步,那么对于处于 同步失败或同步初始化失败 的任务,需要手动暂停或结束任务。

高级特性

数据同步支持多种特性,有效降低用户使用门槛,主要包括:
(1) 动态增减同步对象: 在数据同步过程中,用户可以随时增加或减少需要同步的对象。
(2) 完善性能查询体系: 数据同步提供同步延迟、同步性能(RPS、流量) 趋势图,用户可以方便查看同步链路的性能趋势。
(3) 完善监控体系: 数据同步提供同步作业状态、同步延迟的报警监控功能。用户可以根据业务敏感度,自定义同步延迟报警阈值。