全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
数据传输服务DTS

数据订阅

更新时间:2017-06-07 13:26:11

实时数据订阅功能旨在帮助用户获取RDS/DRDS的实时增量数据,用户能够根据自身业务需求自由消费增量数据,例如实现缓存更新策略业务异步解耦异构数据源数据实时同步含复杂ETL的数据实时同 等多种业务场景。

功能列表

(1) 支持公共云、金融云RDS For MySQL实例的数据订阅。
(2) 支持经典网络、VPC网络下RDS For MySQL实例的数据订阅。

数据源类型

实时数据订阅支持的数据源类型包括:

  • RDS For MySQL
  • DRDS

其中,DRDS 不记录事务日志,所以如果需要订阅DRDS的实时增量数据,那么需要通过订阅DRDS底层挂载的RDS实例的增量日志来实现

订阅对象

数据订阅的订阅对象可以为:。用户可以根据需要订阅某几个表的增量数据。

数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)结构变更(Data Definition Language,简称DDL),配置数据订阅时,可以选择需要订阅的具体数据变更类型。

订阅通道

订阅通道是进行增量数据订阅与消费的基本单元。如果要订阅RDS的增量数据,必须在数据传输控制台创建一个针对这个RDS实例的订阅通道。订阅通道会实时拉取RDS的增量数据,并将最新一段时间的增量数据保存在订阅通道中,用户可以使用数据传输提供SDK从这个订阅通道中订阅增量数据,并进行相应的消费。同时,用户可以在数据传输控制台进行订阅通道的创建、管理及删除等操作。
一个订阅通道同时只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个RDS实例时,需要创建多个订阅通道。这些订阅通道订阅的RDS实例均为同一个实例ID。

订阅通道在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:

通道状态 状态说明 可进行操作
预检中 订阅通道已经完成任务配置,正在进行启动之前的简单预检查 删除订阅
未启动 迁移任务已经通过迁移之前的预检查,但是还没有启动订阅 - 开始订阅
- 删除订阅
初始化 订阅通道正在进行启动初始化,一般需要1分钟左右 删除订阅
正常 订阅通道正在正常拉取RDS实例的增量数据 - 查看示例代码
- 查看订阅数据
- 删除订阅
异常 订阅通道拉取RDS实例增量数据异常 - 查看示例代码
- 删除订阅

高级特性

数据订阅支持多种特性,有效降低用户使用门槛,主要包括:
(1) 动态增减订阅对象, 在数据订阅过程中,用户可以随时增加或减少需要订阅的对象。
(2) 在线查看订阅数据, 数据传输DTS控制台支持在线查看订阅通道中的增量数据。
(3) 修改消费时间点,数据订阅支持用户随时修改需要消费数据对应的时间点。
(4) 完善监控体系, 数据订阅提供订阅通道状态、下游消费延迟的报警监控功能。用户可以根据业务敏感度,自定义消费延迟报警阈值。

本文导读目录