全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
数据传输服务DTS

创建数据订阅通道

更新时间:2017-06-07 13:26:11

数据订阅DTS提供的实时数据订阅功能,可以实时订阅RDS增量数据。轻松帮助业务解决轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。

如果需要使用数据订阅功能,实时订阅消费RDS增量数据,需要进行两个步骤的操作:

  1. 在DTS控制台,创建订阅RDS实例的订阅通道。
  2. 使用DTS提供的SDK,访问订阅通道,实时订阅并消费增量数据。

本小节主要简单介绍在DTS控制台创建订阅通道的流程。订阅通道配置流程简单,只要3个步骤即可完成整个配置过程。关于订阅通道的管理及SDK使用等参考DTS的产品使用手册。

数据订阅限制

  • 只支持RDS For MySQL实例
  • MySQL5.6 binlog的binlog_row_image格式必须为full
  • MySQL存储引擎只支持myisam,innodb
  • MySQL字符集只支持latin1、gbk、utf8、utf8mb4、binary

订阅通道配置步骤

下面详细介绍下创建一条订阅通道的配置步骤。

  1. 购买订阅通道。

    登录数据传输DTS控制台,选择左侧的 数据订阅,进入数据订阅页面。然后,点击页面右上角的 创建数据订阅 进入DTS购买页面。

    订阅通道支持包年包月及按量付费两种付费模式,可以根据需要选择不同的付费模式。

    在购买页面需要配置的参数包括:

    • 源实例地域

      源实例地域为需要订阅的RDS实例所在的地域。订购后不支持更换地域,所以选择时,请谨慎。

    • 数量

      数量为一次性购买的订阅通道的数量,如果购买的是按量付费实例,一次最多购买99条

      当购买完同步实例,返回数据传输控制台,点击新购链路右侧的“配置同步作业” 开始链路配置。

  2. 订阅RDS实例ID配置。

    数据订阅_步骤1

    这个主要配置订阅通道名称及需要订阅的RDS实例ID。其中:

    • 订阅名称:订阅名称为订阅通道别名,没有唯一性要求。默认情况下,DTS为每个订阅通道自动生成一个名称,可以修改这个名称,为其配置一个具备业务意义的名称,便于后续的通道识别。
    • RDS实例ID: 需要订阅增量数据对应的RDS实例的实例ID。

      当这些内容配置完成后,可以点击页面右下角的 授权白名单并进入下一步

  3. 授权RDS实例白名单。

    数据订阅_步骤2

    这个步骤,主要是将DTS服务器IP添加到订阅RDS实例的白名单中。避免因RDS配置了白名单,DTS服务器不能连接RDS实例,从而导致订阅通道创建失败。

    为了保证订阅通道的稳定性,请勿将DTS服务器IP从RDS实例的白名单中删除。

  4. 选择订阅对象。

    数据订阅_步骤3

    在这个步骤中,用户需要配置订阅的数据类型及订阅对象。其中:

    • 订阅数据类型:DTS将订阅数据类型细分为数据变更、结构变更

      数据变更是指DML(包含insert/delete/update)。结构变更是指DDL(例如:create/drop/alter table)。

      如果订阅了结构变更,那么DTS会将整个RDS实例的所有结构变更拉取出来,用户如果只需要部分DDL的话,需要在SDK消费的时候进行过滤。

    • 订阅对象:DTS的订阅对象粒度细分为库、表。即用户可以选择订阅某些库或者是订阅某几张表。

      当完成上面的配置后,即进入订阅通道启动之前的前置预检查阶段。

  5. 预检查。

    当订阅通道配置完成后,DTS会进行前置预检查,当预检查通过后,可以点击右下角的 开始订阅 ,启动订阅通道。

  6. 启动订阅。

    当订阅通道刚创建完,会进入初始化阶段,这个阶段一般会持续1分钟左右。初始化完成后,即可在线查看订阅数据,或者使用SDK订阅增量数据

    至此,完成数据订阅通道的配置。

本文导读目录