如果同步的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。

源库为MongoDB的同步方案概览

根据如下同步方案,查看同步任务的注意事项及限制:

MongoDB(副本集架构)同步至MongoDB(副本集架构、分片集群架构)

如果同步的目标数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,具体注意事项及限制如下:
类型 说明
源库限制
  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。
  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
  • 如同步对象为集合级别,且需进行编辑(如集合的名称映射),则单次同步任务仅支持同步至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置多个任务,或者配置整库的同步任务。
  • Oplog日志:
    • 需开启。
    • 如为增量同步任务,DTS要求源数据库的Oplog日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的Oplog日志至少保留7天以上(您可在全量同步完成后将Oplog日志保存时间设置为24小时以上),否则DTS可能因无法获取Oplog日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。

其他限制
  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。
  • 不支持同步admin和local库中的数据。
  • 不保留事务信息,即源库中的事务同步到目标库时会转变为单条的记录。
  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。
  • 全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。
特殊情况 当源库为自建MongoDB时:
  • 在同步时,如果源库进行主备切换,将会导致同步任务失败。
  • 由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出,源库长时间未执行更新操作可能导致延迟信息不准确。如果任务显示的延迟时间过大,您可以在源库执行一个更新操作来更新延迟信息。
说明 如果同步对象选择为整库,您还可以创建心跳,心跳每秒定期更新或者写入数据。

MongoDB(分片集群架构)间双向同步

如果同步的目标数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,具体注意事项及限制如下:
类型 说明
源和目标库的限制
  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。
  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
  • 如同步对象为集合级别,且需进行编辑(如集合的名称映射),则单次同步任务仅支持同步至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置多个任务,或者配置整库的同步任务。
  • Oplog日志:
    • 需开启。
    • 如为增量同步任务,DTS要求源数据库的Oplog日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的Oplog日志至少保留7天以上(您可在全量同步完成后将Oplog日志保存时间设置为24小时以上),否则DTS可能因无法获取Oplog日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。

其他限制
  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。
  • 如双向同步任务的源实例或目标实例位于海外地域,则仅支持同地域的双向同步,不支持跨地域的双向同步。例如,支持日本地域间的双向同步,不支持日本地域与法兰克福地域间的双向同步。
  • 不支持同步admin和local库中的数据。
  • 不保留事务信息,即源库中的事务同步到目标库时会转变为单条的记录。
  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。
  • 全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。