实时同步RDS与Redis构建缓存一致性

网络规划

请参考表格中的说明和方案默认示例值为每个规划项做详细规划并在实际部署时将默认示例值修改为您的实际规划。

规划云资源

请参考表格中的说明和方案默认示例值为每个规划项做详细规划并在实际部署时将默认示例值修改为您的实际规划。

1. 创建专有网络VPC和交换机

本方案中涉及到云数据库RDS MySQL、云数据库 Redis 以及数据传输服务 DTS和弹性计算ECS等资源，故在规划专有网络VPC和交换机时，为了保证网络连通性和延迟尽量足够小，需要部署在同一个专有网络VPC内，并且最好部署在同一个可用区。

1. 登录专有网络管理控制台。

2. 在顶部菜单栏，选择地域（本文以华东2（上海）地域为例）。

3. 在左侧导航栏，单击专有网络。

4. 在专有网络页面，单击创建专有网络。

5. 在创建专有网络页面，配置1个专有网络和1台交换机。配置交换机时，请确保交换机所属的可用区的ECS、RDS、Redis等资源是可用状态。

   项目	说明	示例值
   VPC名称	建议您在部署过程中新建一个VPC作为本方案的专有网络。部署过程中填写VPC名称即可创建对应名称的VPC。 长度为2~128个字符，以英文大小字母或中文开头，可包含数字、下划线（_）和连字符（-）。	vpc_mysql2redis
   IPv4网段	在创建VPC时，您必须按照无类域间路由块（CIDR block）的格式为您的专有网络划分私网网段。阿里云VPC支持的网段信息请参见专有网络组成部分。 在网络规划时可以按照管理网段-开发网段-测试网段-生产网段等规则做好规划。网段一旦投入使用，调整过程复杂，因此规划十分重要。	192.168.0.0/16
   Vswitch名称	建议您在部署过程中在新建的VPC内创建虚拟交换机。部署过程中填写交换机名称即可创建对应名称的虚拟交换机。 长度为2~128个字符，以英文大小字母或中文开头，可包含数字、下划线（_）和连字符（-）。	vsw_mysql2redis
   可用区	在规划的地域内选择2个可用区，2台虚拟交换机分别部署在2个可用区。 建议选择排序靠后的，一般此类可用区较新。新可用区资源更充沛，新规格也会在新的可用区优先上线。	可用区 G

2. 创建云服务器ECS

您已经创建1个专有网络VPC和交换机。接下来您需要创建1个云服务器ECS实例，来配置和运行DTS订阅程序。

1. 登录ECS管理控制台。

2. 在左侧导航栏，选择实例与镜像 > 实例。

3. 在顶部菜单栏，选择地域（本文以华东2（上海）地域为例）。

4. 在实例页面，单击创建实例。

5. 在云服务器ECS购买页面，创建1台云服务器ECS。

   项目	说明	示例值
   付费类型	ECS实例的计费方式。 ECS计费的详细信息请参见ECS计费方式概述。本文以按量付费为例。	按量付费
   网络及可用区	选择之前规划的专有网络VPC及交换机。
   实例和镜像
   实例	ECS的实例规格及内核、vCPU数量。关于ECS选型的最佳实践请参见ECS选型最佳实践。	ecs.g5.xlarge（4 vCPU 16 GiB）
   镜像	ECS的“装机盘”，为ECS实例提供操作系统、预装软件等。	CentOS
   镜像版本	镜像的版本。	CentOS 7.6 64位
   存储
   系统盘类型	硬盘类型。	ESSD云盘
   系统盘容量	硬盘容量。	40 GiB
   系统盘性能	选择硬盘IOPS性能。	PL1（单盘IOPS性能上限5万）
   带宽和安全组
   公网 IP	选择是否分配公网 IPv4 地址。	分配公网 IPv4 地址
   带宽计费模式	带宽计费方式，用于计算流量成本。	按使用流量
   带宽峰值	本方案以100 Mbps为例。	100 Mbps
   安全组	新建安全组。	开通IPv4端口：SSH (22)
   管理设置
   登录凭证	本方案已自定义密码凭证为例。	自定义密码
   登录名	固定为root	root
   登录密码	设置登录ECS服务器的密码。	password***
   确认密码
   高级选项
   实例名称	配置云服务器ECS实例名称。	ecs_mysql2redis

3. 创建云数据库RDS MySQL版

您已经创建1台云服务器ECS。接下来您需要创建云数据库RDS MySQL版实例、数据库、数据库账号。您需要记录创建的云数据库RDS MySQL版的内网连接地址、数据库名称、账号、密码用于之后的数据传输服务DTS数据订阅的相关配置。

4. 创建云数据库Redis版

接下来您需要创建1个云数据库Redis版实例，数据库、数据库账号。您需要记录创建的云数据库Redis版的内网连接地址、数据库名称、账号、密码用于之后的数据传输服务DTS数据订阅的相关配置。

1. 登录云数据库Redis控制台。

2. 创建云数据库Redis实例：

   1. 点击左侧导航栏实例列表

   2. 在顶部菜单栏，选择地域（本文以华东2（上海）地域为例）。

   3. 单击创建实例。

   4. 在购买页面，购买1个云数据库Redis实例。

   项目	说明	示例值
   产品	选择产品引擎的类型，可选为Redis或者Tair版，Redis选型指南参见云数据库Redis版选型。	Redis
   付费方式	云数据库 Redis 实例的计费方式。 云数据库 Redis 计费的详细信息请参见云Redis计费方式概述。	按量付费
   部署模式	云数据库 Redis 实例的部署模式（产品形态）。云数据库 Redis实例中部署模式经典实例与云原生实例模式区别参见经典实例和云原生实例对比。	云原生（原云盘）
   系列	Redis实例的系列，本方案以标准版为例。	标准版
   地域和可用区	选择云数据库 Redis 实例所在的地域。	华东2（上海 ）
   可用区类型	选择云数据库 Redis 实例的可用区类型。	单可用区
   主可用区	选择云数据库Redis实例部署主节点所在的可用区。	可用区 G
   专有网络	选择之前规划的专有网络VPC及交换机。
   虚拟交换机
   实例类型	双机热备架构，数据持久化，提供数据可靠性。	高可用
   版本号	云数据库Redis引擎的内核版本，分为：Redis5.0、Redis6.0、Redis7.0版本。	Redis 6.0
   架构类型	云数据库Redis的架构类型分为标准主从架构和Cluster集群架构，具体架构的区别和选择参见云数据库Redis架构信息导航。	不启用集群
   分片规格	未开启“集群”模式时，实例为标准主从架构，“分片规格”等同于“实例规格”。开启“集群”模式后，实例由多个分片构成，需选择分片数量。	16 GB
   密码设置	设置实例的访问密码。	password***
   实例名称	表示云数据库 Redis 实例备注名。	rdsmysql2redis_redis

1. 配置DTS数据订阅

接下来您需要开通并且配置数据传输服务DTS数据订阅功能，需要创建和配置DTS数据订阅任务，用于之后的数据传输服务DTS数据订阅的相关配置。

1. 登录数据传输服务DTS管理控制台。

2. 在顶部菜单栏，选择地域（本文以华东2（上海）地域为例）。

3. 在左侧导航栏，选择数据订阅。

4. 在订阅任务页面，单击创建任务。

5. 在创建任务面板，创建1个DTS数据订阅任务。

   项目	说明	示例值
   任务名称	数据传输服务DTS数据订阅任务名称。	mysql2redis_dts
   源库信息
   数据库类型	本方案选择MySQL。	MySQL
   接入方式	本方案选择云实例。	云实例
   实例地区	选择之前创建的RDS实例所在的地区。	华东2（上海）
   是否跨阿里云账号	数据传输服务DTS支持对不同阿里云账号下的实例配置数据迁移或同步，实现跨阿里云账号的数据迁移或同步	不跨账号
   RDS实例ID	选择之前创建的RDS实例ID。
   数据库账号	配置之前在RDS MySQL实例中创建的数据库账号和密码。
   数据库密码
   连接方式	连接方式，支持非加密连接、SSL安全连接，本方案选择非加密连接。	非加密连接
   消费网络类型
   专有网络	选择之前规划的专有网络VPC及交换机。
   虚拟交换机

   

6. 点击测试连接以进入下一步，进入到“配置任务对象及高级配置”界面。

7. 在订阅对象框中选择需要订阅的库表对象，选择之前在RDS MySQL实例中创建的数据库，如图所示：

   

9. 选择对应的库表对象后，点击下一步高级配置。

10. 点击下一步保存任务并预检查。

11. 等待预检查完成，并且点击下一步购买进入DTS实例购买页面，如图所示：

    

13. 选择付费方式为后付费，勾选服务协议后，单击购买并启动。如图所示：

    

14. 查看任务详情，在订阅任务启动后，可以在操作列上点击任务详情开始查看订阅任务的详情信息，如图所示：

    

2. 新增订阅消费组

在开通和配置DTS数据订阅任务后，接下来您需要配置DTS数据订阅任务新增消费组，并根据下游客户端选择订阅数据消费方式。

1. 登录数据传输服务DTS管理控制台。

2. 在顶部菜单栏，选择地域（本文以华东2（上海）地域为例）。

3. 在左侧导航栏，选择数据订阅。

4. 在订阅任务页面，定位到上述步骤中创建的订阅任务，在操作列上点击任务详情。

5. 进入任务详情页面后，在左侧导航栏选择数据消费，点击新增消费组进行相关配置。

6. 填写消费组名称（如mysql2redis_consumer_group）、账号（如demoUser）以及密码信息登，如图所示：

   

1. 编写DTS订阅程序

上一步中已经开通并且配置好了数据传输服务DTS数据订阅任务，接下来您需要通过订阅RDS MySQL的binlog数据变更信息，基于业务系统的需求对订阅到的事件和数据进行逻辑处理，并且最后写入到Redis缓存中。针对这个模块，本方案提供DTS数据订阅的代码示例和操作引导，以辅助您能够快速地基于自身的业务定制化数据订阅和同步。

1. 下载DTS数据订阅SDK示例代码，并且进行解压。

   说明

   文件夹中包含了已经编译好的、可直接执行的jar包（需要配合含有相关参数设定的config.properties文件，详见后文），您可以基于该jar包直接进行同步验证，也可以基于代码中的相关Java文件进行定制化修改。

2. （可选）使用IntelliJ IDEA软件，以Maven工程打开解压后的SDK示例代码文件。

3. （可选）在subscribe-demo/src/main/java/com/alibaba/dts/demo/路径下，浏览并且编辑DTSMySQL2RedisDemo.java文件。

4. （可选）定位到main()函数，浏览brokerUrl、topic、sid、userName、password、redisUrl、redisPort、redisPassword参数，新建并且编辑config.properties文件，定义并且修改上述参数。

5. （可选）在subscribe-demo/src/main/java/com/alibaba/dts/demo/路径下，浏览并且编辑RedisRecordListener.java文件，涉及到的BINLOG数据订阅和同步到Redis中的代码逻辑均在该文件中进行处理。可基于该代码文件进行定制化的修改，如：过滤需要同步的库、表、记录等对象，修改下游Redis中的key、value结构等类型和信息等。

6. （可选）在IntelliJ IDEA软件界面的顶部，单击Run > Run运行该程序。

   参数	说明	获取方式
   brokerUrl	数据订阅通道的网络地址及端口号信息。 说明如果您部署SDK客户端所属的ECS实例与数据订阅通道属于经典网络或同一专有网络，建议通过内网地址进行数据订阅，网络延迟最小。	在DTS控制台单击目标订阅实例ID，在基本信息页面的网络区域，您可以获取网络地址及端口号信息。
   topic	数据订阅通道的订阅Topic。	在DTS控制台单击目标订阅实例ID，在基本信息页面的基本信息区域，您可以获取到订阅Topic。
   sid	消费组ID。	在DTS控制台单击目标订阅实例ID，然后单击数据消费，您可以获取到消费组ID和消费组的账号信息。 说明：消费组账号的密码已在您新建消费组时指定。
   userName	消费组的账号。 警告 如您未使用本文提供的客户端，请按照<消费组的账号>-<消费组ID>的格式设置用户名（例如：dtstest-dtsae******bpv），否则无法正常连接。
   password	该账号的密码。
   initCheckpoint	消费位点，即SDK客户端消费第一条数据的时间戳，格式为Unix时间戳，例如1620962769。 说明：消费位点信息可用于： 当业务程序中断后，传入已消费位点继续消费数据，防止数据丢失。 在订阅客户端启动时，传入所需的消费位点，调整订阅位点，实现按需消费数据。	消费位点必须在订阅实例的数据范围（如图示）之内，并需转化为Unix时间戳。 说明：Unix时间戳转换工具可用搜索引擎获取。
   ConsumerContext.ConsumerSubscribeMode subscribeMode	SDK客户端的使用模式，取值为： ConsumerContext.ConsumerSubscribeMode.ASSIGN：ASSIGN模式，即一个消费组下仅支持一个SDK客户端消费订阅数据。 ConsumerContext.ConsumerSubscribeMode.SUBSCRIBE：SUBSCRIBE模式，即支持在同一个消费组下同时启动多个SDK客户端实现灾备。	无
   redisUrl	Redis实例的网络地址信息。	进入Redis实例的实例信息页签，在连接信息区域获取公网访问的连接地址。
   redisPort	Redis实例的端口信息。	进入Redis实例的实例信息页签，在连接信息区域获取公网访问的端口号（Port）。
   redisPassword	重要 Redis实例的账号及密码。 数据库密码格式为<user>:<password>。例如，Redis实例自定义的用户名为admin，密码为Rp829dlwa，则此处填入的数据库密码为admin:Rp829dlwa。	在您创建Redis实例时已指定。 说明 若您忘记密码，可以重新设置实例的密码，详情请参见修改或重置密码。

   说明

   针对上述示例程序中的示例行为和更新逻辑有如下说明：

   1. 更新到Redis中的数据均为HASH类型，采用HMSET的方式写入；

   2. 针对有主键表，KEY值格式为：库名:表名:<主键字段1的值>:<主键字段2的值>...

   3. 针对无主键表，KEY值格式为：库名:表名:<字段1的值>:<字段2的值>...

   4. 详细逻辑详见：subscribe-demo/src/main/java/com/alibaba/dts/demo/RedisRecordListener.java

2. 部署DTS订阅程序

上一步中已经下载并且编辑好了数据传输服务DTS数据订阅的示例代码，接下来需要对示例程序进行编译打包，并且部署到ECS服务器进行运行。对这个模块，本方案提供DTS数据订阅的代码编译和打包操作引导，以辅助您能够快速地进行部署。

1. （可选）在IntelliJ IDEA软件界面的顶部，单击View > Tool Windows > Maven，此时会在右侧栏打开Maven操作界面，双击package即可完成程序的打包，此时会在代码目标下新建target文件夹，在该文件夹下会生成jar包，如subscribe-demo-1.0-SNAPSHOT.jar和subscribe-demo-1.0-SNAPSHOT-jar-with-dependencies.jar等文件。

   说明

   数据订阅SDK示例代码文件夹中包含了已经编译好的、可直接执行的jar包（文件位于subscribe-demo/target目标下，需要配合含有相关参数设定的config.properties文件，详见后文），您可以基于该jar包直接进行同步验证，也可以基于代码中的相关Java文件进行定制化修改。

2. 将subscribe-demo-1.0-SNAPSHOT-jar-with-dependencies.jar文件拷贝到弹性计算ECS服务器上，存放到相应的目录下。

3. 在jar包所在的目录下，新建并且编辑config.properties文件，编辑并且填写brokerUrl、topic、sid、userName、password、redisUrl、redisPort、redisPassword参数，如config.properties文件内容：

   // brokerUrl
   brokerUrl=dts-cn-shanghai.aliyuncs.com:18001
   
   // topic to consume, partition is 0
   topic=cn_shanghai_vpc_xxxxxxxxxxxxx__demouser_upgrade_from_old_version2
   
   // user password and sid for auth
   sid=dtsxxxxxxxxxxx
   userName=demoUser
   password=xxxxxxxxxx
   
   // initial checkpoint for first seek(a timestamp to set, eg 1566180200 if you want (Mon Aug 19 10:03:21 CST 2019))
   // String initCheckpoint=1566180200
   
   // when use subscribe mode, group config is required. kafka consumer group is enabled
   //ConsumerContext.ConsumerSubscribeMode subscribeMode=ConsumerContext.ConsumerSubscribeMode.ASSIGN
   subscribeMode=ASSIGN
   
   // if force use config checkpoint when start. for checkpoint reset, only assign mode works
   isForceUseInitCheckpoint=true
   
   //redis url and port
   redisUrl=r-xxxxxxxxxxxxxxx.redis.rds.aliyuncs.com
   
   //replace to you redis port
   redisPort=6379
   
   redisPassword=<user>:<password>

4. 运行Java程序，启动DTS订阅，启动命令行为：

   java -jar subscribe-demo-1.0-SNAPSHOT-jar-with-dependencies.jar 

5. 观察DTS订阅程序运行情况，如图所示：

   

1. 更新RDSMySQL数据

上一步中您已经在数据传输服务DTS管理控制台上配置了DTS延迟告警、检查了DTS同步延迟等情况，接下来可以向源端 RDS MySQL 上写入、更新、删除相关数据，以模拟RDS MySQL上面的数据变更，比如可以模拟TPCC压测程序等或者以业务系统真实的更新数据，以观察DTS订阅情况等。

2. 检查Redis最新数据

上一步中您已经部署好了数据传输服务DTS数据订阅程序，并且对源端RDS MySQL有数据更新行为发生，即RDS MySQL实例中已经有BINLOG日志的更新，通过上述步骤可以观察到DTS订阅程序可以订阅到BINLOG的最新事件，接下来检查Redis实例中是否已经有最新的数据写入和更新。

3. 检查DTS订阅延迟

上一步中您已经部署好了数据传输服务DTS数据订阅程序，并且对源端RDS MySQL有数据更新行为发生，接下来您需要对DTS订阅和数据同步的效果进行验证。针对生产环境，建议您在数据传输服务DTS控制台配置好对DTS订阅程序的监控报警等。

1. 登录数据传输服务DTS管理控制台。

2. 在顶部菜单栏，选择地域（本文以华东2（上海）地域为例）。

3. 在左侧导航栏，选择数据订阅。

4. 在订阅任务页面，定位到上述步骤中创建的订阅任务，在操作列上点击任务详情。

5. 进入任务详情页面后，在左侧导航栏选择数据消费，点击任务管理。

6. 查看增量数据采集等页面，检查DTS订阅延迟情况等，如图所示：