从ECS上的Codis集群同步至云数据库Tair（兼容Redis）实例

同步原理介绍

DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。

Codis集群环境介绍

在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，详情请参见下图。

注意事项

• DTS在执行全量数据初始化时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据同步前谨慎评估，在业务低峰期执行数据同步。

• 如果在源数据库的配置文件redis.conf中配置了bind参数，请将该参数的值设置为ECS的内网IP地址以保障DTS可以正常连接源数据库。

• 为保障同步链路稳定性，建议将源集群的配置文件redis.conf中repl-backlog-size参数的值适当调大。

• 为保障同步质量，DTS会在源集群中插入一个key：DTS_REDIS_TIMESTAMP_HEARTBEAT，用于记录更新时间点。

• 请勿在源集群中执行FLUSHDB和FLUSHALL命令，否则将导致源和目标的数据不一致。

• 若目标数据库内存不足，触发数据逐出时，由于云数据库 Tair（兼容 Redis）的默认数据逐出策略（maxmemory-policy）为volatile-lru，会导致目标库与源库数据不一致的情况，但不会影响任务的正常运行。

  为避免该情况发生，建议将目标库的数据逐出策略设置为noeviction，当目标库内存不足时，数据会写入失败，同时任务也会失败，但目标库不会因为数据逐出而丢失数据。

  说明

  关于数据逐出策略详情，请参见Redis数据逐出策略介绍。

• 如果源库中的某些Key使用了过期（expire）策略，由于可能存在Key已过期但未被及时删除的情况，所以在目标库中查看到的Key数量（例如通过info命令查看）会比源库的Key数量少。

  说明

  源和目标库中，未设置过期策略或未过期的Key数量是一致的。

• 目标云数据库Tair（兼容Redis）实例支持的版本为4.0、5.0或6.0版本，如需跨版本同步（仅支持从低版本同步到高版本）请提前确认兼容性。例如创建按量付费的Redis实例来测试，测试完成后可将该实例释放或转为包年包月。

• 若目标实例的架构类型为集群版且某一个分片达到了内存上限，或目标实例的存储空间不足时，DTS任务会因内存溢出（Out of Memory）而失败。

• 若目标实例已开启透明数据加密TDE功能，则暂不支持通过DTS同步数据。

费用说明

支持的同步拓扑

• 一对一单向同步

• 一对多单向同步

• 级联单向同步

关于各类同步拓扑的介绍及注意事项，请参见数据同步拓扑介绍。

支持的同步命令

• APPEND

• BITOP、BLPOP、BRPOP、BRPOPLPUSH

• DECR、DECRBY、DEL

• EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT

• GEOADD、GETSET

• HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX

• INCR、INCRBY、INCRBYFLOAT

• LINSERT、LPOP、LPUSH、LPUSHX、LREM、LSET、LTRIM

• MOVE、MSET、MSETNX、MULTI

• PERSIST、PEXPIRE、PEXPIREAT、PFADD、PFMERGE、PSETEX、PUBLISH

• RENAME、RENAMENX、RESTORE、RPOP、RPOPLPUSH、RPUSH、RPUSHX

• SADD、SDIFFSTORE、SELECT、SET、SETBIT、SETEX、SETNX、SETRANGE、SINTERSTORE、SMOVE、SPOP、SREM、SUNIONSTORE

• ZADD、ZINCRBY、ZINTERSTORE、ZREM、ZREMRANGEBYLEX、ZUNIONSTORE、ZREMRANGEBYRANK、ZREMRANGEBYSCORE

操作步骤

1. 创建迁移任务。

   1. 登录数据传输服务控制台。

   2. 在左侧菜单栏中，选择数据同步。

   3. 在顶部导航栏中，地域选择之前创建的 ECS 实例所在的地区。

   4. 在页面中，单击创建任务。

2. 配置源库及目标库信息。

   类别	配置	说明
   任务	任务名称	数据传输服务的同步任务名称。
   源库信息	数据库类型	在 NoSQL 数据库页签下选择 Tair/Redis
   	接入方式	选择 ECS 自建数据库。
   	实例地区	选择之前创建的 ECS 实例所在的地区。
   	是否跨阿里云账号	数据传输服务 DTS 支持对不同阿里云账号下的实例配置数据同步任务，实现跨阿里云账号的数据同步，本方案选择不跨账号。
   	ECS 实例 ID	选择Codis-Group中Master节点所属的ECS实例ID。 说明 DTS通过同步Codis集群中的每个Codis-Group来实现整体的数据同步，此处先填入第一个Codis-Group中Master节点所属的ECS实例ID；稍后配置第二个数据同步作业时，此处填入第二个Codis-Group中Master节点所属的ECS实例ID；以此类推，直至为所有Codis-Group配置同步作业。
   	实例模式	单机版。 说明 由于Codis集群架构的特殊性，无法直接同步Codis集群，DTS通过同步Codis集群中的每个Codis-Group来实现整体的数据同步，所以此处需选择为单机版。
   	端口	数据库端口。
   	认证方式	密码登录。
   	数据库密码	填入该Master节点的数据库密码。 说明 非必填项，如果没有设置密码可以不填。
   	连接方式	连接方式，支持非加密连接、SSL 安全连接，本方案选择非加密连接。
   目标库信息	数据库类型	会自动勾选为 Tair/Redis。
   	接入方式	选择云实例。
   	实例地区	选择之前创建的云实例所在的地区。
   	是否跨阿里云账号	数据传输服务 DTS 支持对不同阿里云账号下的实例配置数据同步任务，实现跨阿里云账号的数据同步，本方案选择不跨账号。
   	实例类型	选择实例类型。
   	实例 ID	选择目标云数据库Tair（兼容Redis）实例ID。
   	认证方式	密码登录。
   	数据库密码	配置之前在云实例中设置的数据库密码。 说明 数据库密码格式为<user>:<password>。例如，Redis实例自定义的用户名为admin，密码为Rp829dlwa，则此处填入的数据库密码为admin:Rp829dlwa。
   	连接方式	连接方式，支持非加密连接、SSL 安全连接，本方案选择非加密连接。

3. 单击测试连接以进行下一步。

4. 在 DTS 服务器访问授权弹框中，单击测试连接。

5. 配置任务对象。

   1. 对象配置：

      1. 同步类型勾选全量同步+增量同步。

      2. 目标已存在表的处理模式，选择预检查并报错拦截。

      3. 在源库对象框中选择要迁移的数据库，勾选全选，再单击将其移动至已选择对象框，然后单击下一步高级配置。

   2. 高级配置：默认配置项不作修改，单击下一步数据校验。

   3. 数据校验方式：勾选全量校验，然后单击下一步保存任务并预检查。

6. 对象配置：

   1. 同步类型勾选全量同步+增量同步。

   2. 目标已存在表的处理模式，选择预检查并报错拦截。

   3. 在源库对象框中选择要迁移的数据库，勾选全选，再单击将其移动至已选择对象框，然后单击下一步高级配置。

7. 预检查通过率达到 100% 后，单击下一步购买。

8. 在后付费页签中，选择数据迁移实例的链路规格（本案例以 micro 规格为例），勾选《数据传输（按量付费）服务条款》，单击购买并启动。

9. 迁移任务正式开始。

   单击迁移任务 ID 进入任务详情页，在详情页中点击左侧导航栏中的任务管理可以查看具体进度。当您看到如下界面，表示存量数据已迁移完成，增量数据会实时同步。此时您可以进入下一步，验证云数据 Tair 里的数据。

   

   说明

   DTS 同步任务支持跨地域数据同步迁移，本方案按照架构所示以相同地域同 VPC 内数据同步为例为您介绍构建数据一致性，更多数据同步信息请参考同步方案概览。

10. 重复第1步到第9步的操作，为剩余的Codis-Group创建数据同步作业。