同步时源库为Redis的注意事项及限制

如果同步的源数据库类型为Redis,如自建Redis、云数据库Tair(兼容Redis),您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。

源库为Redis的同步方案概览

根据如下同步方案,查看同步任务的注意事项及限制:

Redis间的双向同步

类型

说明

源库限制

  • 为保障同步质量,DTS会在源库中插入一个前缀为DTS_REDIS_TIMESTAMP_HEARTBEATKey用于记录更新时间点,如果源库为集群架构,DTS会在各个shard上均插入该Key。同步过程中会过滤该Key,同步任务结束,该Key就会过期。

  • 如果源库为只读实例或者DTS账号没有写(SETEX)权限,上报的延迟可能不准确。

  • 为保障同步链路稳定性,建议将配置文件redis.confrepl-backlog-size参数的值适当调大。

  • 请勿在源库中执行FLUSHDBFLUSHALL命令,否则将导致源和目标的数据不一致。

  • 如果源库中的某些Key使用了过期(expire)策略,由于可能存在Key已过期但未被及时删除的情况,所以在目标库中查看到的Key数量(例如通过info命令查看)会比源库的Key数量少。

  • 源库单机版Redis同步到目标库集群版Redis的操作限制:由于集群cluster只允许单个命令操作单个slot,若在源库执行多Key操作时,Key不在同一个slot或涉及多个slot,则会出现以下报错:

    CROSSSLOT Keys in request don't hash to the same slot

    建议在DTS同步过程中仅执行单Key操作,以免导致链路中断。

  • 云数据库Tair(兼容Redis)(企业版)实例间支持双向同步,支持的实例:

    • Redis开源版:版本类型企业版(Tair)的实例。

    • Tair(企业版):所有实例。

  • 若源端为存储介质持久内存Tair(企业版)实例,则需确保appendonly的参数值为yes。更多信息,请参见操作步骤

其他限制

  • 同步期间,如源Redis发生扩缩容(如增加或者减少分片)、规格变配(如扩大内存),则您需重新配置任务。且为保障数据一致性,建议重新配置任务前,先清空已同步至目标Redis的数据。

  • 若源或目标实例为自建Redis,且在同步期间该自建Redis的连接地址发生变化,则需要重新配置任务。

  • 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。若为高版本同步至低版本,可能存在数据库兼容性问题。

  • 全量数据初始化时DTS将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。建议在执行数据同步前评估源库和目标库的性能,同时建议业务低峰期执行数据同步。

  • DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。

  • DTS正向和反向同步任务均同步了某个表,且正向同步任务同步了该表的全量和增量数据,则反向同步任务只同步该表的增量数据。

  • 若目标实例的架构类型为集群版且某一个分片达到了内存上限,或目标实例的存储空间不足时,DTS任务会因内存溢出(Out of Memory)而失败。

  • 若目标数据库内存不足,触发数据逐出时,由于云数据库 Tair(兼容 Redis)的默认数据逐出策略(maxmemory-policy)为volatile-lru,会导致目标库与源库数据不一致的情况,但不会影响任务的正常运行。

    为避免该情况发生,建议将目标库的数据逐出策略设置为noeviction,当目标库内存不足时,数据会写入失败,同时任务也会失败,但目标库不会因为数据逐出而丢失数据。

    说明

    关于数据逐出策略详情,请参见Redis数据逐出策略介绍

  • 若源或目标实例已开启透明数据加密TDE功能,则暂不支持通过DTS同步数据。

  • 若在数据同步过程中出现包括但不限于以下情况,可能会使全量数据重新同步至目标端,从而导致数据不一致。

    • 源端或目标端Redis发生连接闪断,导致断点续传失败。

    • 源端或目标端Redis发生主备切换或故障切换。

    • 源端或目标端Redis的连接地址发生变化。

    • 修改DTS实例的同步对象。

  • 云数据库Tair(兼容Redis)实例已开启TLS(Transport Layer Security)加密功能,则必须以SSL安全连接的方式接入到DTS(不支持TLSv1.3)。当前暂不支持已开启SSL云数据库Tair(兼容Redis)实例,以云实例的方式接入DTS。

  • 若实例运行失败,DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中,可能会对该实例进行重启、调整参数等操作。

    说明

    在调整参数时,仅会修改实例的参数,不会对数据库中的参数进行修改。可能修改的参数,包括但不限于修改实例参数中的参数。

Redis间的单向同步

类型

说明

源库限制

  • 为保障同步质量,DTS会在源库中插入一个前缀为DTS_REDIS_TIMESTAMP_HEARTBEATKey用于记录更新时间点,如果源库为集群架构,DTS会在各个shard上均插入该Key。同步过程中会过滤该Key,同步任务结束,该Key就会过期。

  • 如果源库为只读实例或者DTS账号没有写(SETEX)权限,上报的延迟可能不准确。

  • 为保障同步链路稳定性,建议将配置文件redis.confrepl-backlog-size参数的值适当调大。

  • 如果源库中的某些Key使用了过期(expire)策略,由于可能存在Key已过期但未被及时删除的情况,所以在目标库中查看到的Key数量(例如通过info命令查看)会比源库的Key数量少。

  • 源库单机版Redis同步到目标库集群版Redis的操作限制:由于集群cluster只允许单个命令操作单个slot,若在源库执行多Key操作时,Key不在同一个slot或涉及多个slot,则会出现以下报错:

    CROSSSLOT Keys in request don't hash to the same slot

    建议在DTS同步过程中仅执行单Key操作,以免导致链路中断。

  • 若源端为存储介质持久内存Tair(企业版)实例,则需确保appendonly的参数值为yes。更多信息,请参见操作步骤

其他限制

  • 若源实例为自建Redis,则SlaveMaster之间的复制超时时间参数repl-timeout建议使用config set repl-timeout 600命令设置为600秒。若源数据库数据量比较大,可以适当增大repl-timeout参数的值。

  • 同步期间,如源Redis发生扩缩容(如增加或者减少分片)、规格变配(如扩大内存),则您需重新配置任务。且为保障数据一致性,建议重新配置任务前,先清空已同步至目标Redis的数据。

  • 若源或目标实例为自建Redis,且在同步期间该自建Redis的连接地址发生变化,则需要重新配置任务。

  • 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。若为高版本同步至低版本,可能存在数据库兼容性问题。

  • 全量数据初始化时DTS将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。建议在执行数据同步前评估源库和目标库的性能,同时建议业务低峰期执行数据同步。

  • DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。

  • 若目标实例的架构类型为集群版且某一个分片达到了内存上限,或目标实例的存储空间不足时,DTS任务会因内存溢出(Out of Memory)而失败。

  • 若目标数据库内存不足,触发数据逐出时,由于云数据库 Tair(兼容 Redis)的默认数据逐出策略(maxmemory-policy)为volatile-lru,会导致目标库与源库数据不一致的情况,但不会影响任务的正常运行。

    为避免该情况发生,建议将目标库的数据逐出策略设置为noeviction,当目标库内存不足时,数据会写入失败,同时任务也会失败,但目标库不会因为数据逐出而丢失数据。

    说明

    关于数据逐出策略详情,请参见Redis数据逐出策略介绍

  • 若源或目标实例已开启透明数据加密TDE功能,则暂不支持通过DTS同步数据。

  • 若在数据同步过程中出现包括但不限于以下情况,可能会使全量数据重新同步至目标端,从而导致数据不一致。

    • 源端或目标端Redis发生连接闪断,导致断点续传失败。

    • 源端或目标端Redis发生主备切换或故障切换。

    • 源端或目标端Redis的连接地址发生变化。

    • 修改DTS实例的同步对象。

  • 云数据库Tair(兼容Redis)实例已开启TLS(Transport Layer Security)加密功能,则必须以SSL安全连接的方式接入到DTS(不支持TLSv1.3)。当前暂不支持已开启SSL云数据库Tair(兼容Redis)实例,以云实例的方式接入DTS。

  • 若实例运行失败,DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中,可能会对该实例进行重启、调整参数等操作。

    说明

    在调整参数时,仅会修改实例的参数,不会对数据库中的参数进行修改。可能修改的参数,包括但不限于修改实例参数中的参数。