同步时源库为MongoDB的注意事项及限制

如果同步的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。

源库为MongoDB的同步方案概览

根据如下同步方案,查看同步任务的注意事项及限制:

MongoDB(副本集架构)同步至MongoDB(副本集架构、分片集群架构)

如果同步的目标数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,具体注意事项及限制如下:

类型

说明

源库限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。

  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • 如同步对象为集合级别,且需进行编辑(如集合的名称映射),则单次同步任务仅支持同步至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置多个任务,或者配置整库的同步任务。

  • 源库待同步的单条数据不能超过16 MB,否则会导致任务失败。

  • 源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon DocumentDB。

  • 源库需开启Oplog日志,并确保Oplog日志至少保留7天以上;或者开启变更流(Change Streams),并确保DTS能够通过Change Streams订阅到源库最近7天内的数据变更。否则可能会因无法获取源库的数据变更而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题,不在DTS的SLA保障范围内。

    重要
    • 建议通过Oplog日志获取源库的数据变更。

    • 仅4.0及以上版本的MongoDB支持通过Change Streams获取数据变更,使用Change Streams获取源库的数据变更不支持双向同步。

    • 源库为Amazon DocumentDB(非弹性集群)时,需要手动开启Change Streams,并在配置任务时将迁移方式选择为ChangeStream,将架构类型选择为分片集群架构

  • 暂不支持同步包含TTL(Time To Live)索引的集合。若待同步的数据库中包含TTL索引,则可能会导致数据不一致。

  • 源库操作限制:

    • 在结构同步和全量同步阶段,请勿执行库或集合的结构变更(包含数组类型数据的更新),否则会导致数据迁移任务失败或源库与目标库的数据不一致。

    • 若仅执行全量数据同步,请勿向源实例中写入新的数据,否则会导致源库与目标库的数据不一致。

其他限制

  • 目标端实例为分片集群架构时:

    • 需清除孤立文档,否则将影响同步性能。若在同步过程遇到_id冲突的文档,则可能导致数据不一致或任务失败。

    • 在任务开始前,需要为源端待同步的数据添加与目标端对应的分片键。若您无法为源端添加分片键,源MongoDB数据库的同步操作,请参见MongoDB(无分片键)同步至MongoDB(分片集群架构)

    • 在任务开始后,待同步的数据在使用INSERT命令时必须包含分片键,使用UPDATE命令时不支持更改分片键。

  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。

  • 不支持同步admin和local库中的数据。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量同步阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 不保留事务信息,即源库中的事务同步到目标库时会转变为单条的记录。

  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。

  • 全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。

  • 在DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。例如,有除DTS外的数据写入目标库时,使用DMS执行在线DDL变更,可能引起目标库数据丢失。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

  • 若实例运行失败,DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中,可能会对该实例进行重启、调整参数等操作。

    说明

    在调整参数时,仅会修改实例的参数,不会对数据库中的参数进行修改。可能修改的参数,包括但不限于修改实例参数中的参数。

特殊情况

当源库为自建MongoDB时:

  • 在同步时,如果源库进行主备切换,将会导致同步任务失败。

  • 由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出,源库长时间未执行更新操作可能导致延迟信息不准确。如果任务显示的延迟时间过大,您可以在源库执行一个更新操作来更新延迟信息。

说明

如果同步对象选择为整库,您还可以创建心跳表,心跳表每秒定期更新或者写入数据。

MongoDB(分片集群架构)间双向同步

具体注意事项及限制如下:

类型

说明

源和目标库的限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。

  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • 待同步集合中的_id字段需具有唯一性,否则可能会导致数据不一致。

  • 如同步对象为集合级别,且需进行编辑(如集合的名称映射),则单次同步任务仅支持同步至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置多个任务,或者配置整库的同步任务。

  • 源库待同步的单条数据不能超过16 MB,否则会导致任务失败。

  • 源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon DocumentDB。

  • 源库需开启Oplog日志,并确保Oplog日志至少保留7天以上;或者开启变更流(Change Streams),并确保DTS能够通过Change Streams订阅到源库最近7天内的数据变更。否则可能会因无法获取源库的数据变更而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题,不在DTS的SLA保障范围内。

    重要
    • 建议通过Oplog日志获取源库的数据变更。

    • 仅4.0及以上版本的MongoDB支持通过Change Streams获取数据变更,使用Change Streams获取源库的数据变更不支持双向同步。

    • 源库为Amazon DocumentDB(非弹性集群)时,需要手动开启Change Streams,并在配置任务时将迁移方式选择为ChangeStream,将架构类型选择为分片集群架构

  • MongoDB分片集群为源的单向同步不支持源端做分片的扩缩容,双向同步源和目标都不支持分片数量的扩缩容,否则会导致DTS任务失败。

  • 源MongoDB分片集群实例的Mongos节点的数量不能超过10个。

  • 暂不支持同步包含TTL(Time To Live)索引的集合。若待同步的数据库中包含TTL索引,则可能会导致数据不一致。

  • 请确保源和目标实例中没有孤立文档,否则可能会导致数据不一致甚至任务失败。更多信息,请参见孤立文档如何清理MongoDB(分片集群架构)的孤立文档

  • 源和目标库需为相同架构的云数据库MongoDB版,即自建MongoDB或不同架构的MongoDB不支持双向同步。

  • 源库操作限制:

    • 在结构同步和全量同步阶段,请勿执行库或集合的结构变更(包含数组类型数据的更新),否则会导致数据迁移任务失败或源库与目标库的数据不一致。

    • 若仅执行全量数据同步,请勿向源实例中写入新的数据,否则会导致源库与目标库的数据不一致。

其他限制

  • 在任务开始前,需要为源端待同步的数据添加与目标端对应的分片键;在任务开始后,待同步的数据在使用INSERT命令时必须包含分片键,使用UPDATE命令时不支持更改分片键。

  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量同步阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 不支持同步admin和local库中的数据。

  • 不保留事务信息,即源库中的事务同步到目标库时会转变为单条的记录。

  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。

  • 全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。

  • 在DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。例如,有除DTS外的数据写入目标库时,使用DMS执行在线DDL变更,可能引起目标库数据丢失。

  • 双向同步实例包含正向和反向同步任务,在配置或重置双向同步实例时,若其中一个任务的目标对象是另一个任务待同步的对象:

    • 仅允许其中一个任务同步全量和增量数据,另一个任务仅支持同步增量数据。

    • 当前任务的源数据仅支持同步到当前任务的目标端,同步过来的数据不会作为另一个任务的源数据继续同步。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

  • 全量同步期间必须关闭源MongoDB数据库的均衡器(Balancer),直至每个子任务都运行到增量阶段,否则可能会造成数据不一致。关于均衡器的操作,请参见管理MongoDB均衡器Balancer

  • 若您无需使用DTS提供的库表结构同步功能(例如目标端已配置好数据分片),在配置任务对象及高级配置阶段中,同步类型请勿勾选库表结构同步,否则可能会因为分片冲突而导致数据不一致或任务失败。

  • 若实例运行失败,DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中,可能会对该实例进行重启、调整参数等操作。

    说明

    在调整参数时,仅会修改实例的参数,不会对数据库中的参数进行修改。可能修改的参数,包括但不限于修改实例参数中的参数。

MongoDB(分片集群架构)间单向同步

如果同步的目标数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,具体注意事项及限制如下:

类型

说明

源和目标库的限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。

  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • 待同步集合中的_id字段需具有唯一性,否则可能会导致数据不一致。

  • 如同步对象为集合级别,且需进行编辑(如集合的名称映射),则单次同步任务仅支持同步至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置多个任务,或者配置整库的同步任务。

  • 源库待同步的单条数据不能超过16 MB,否则会导致任务失败。

  • 源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon DocumentDB。

  • 源库需开启Oplog日志,并确保Oplog日志至少保留7天以上;或者开启变更流(Change Streams),并确保DTS能够通过Change Streams订阅到源库最近7天内的数据变更。否则可能会因无法获取源库的数据变更而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题,不在DTS的SLA保障范围内。

    重要
    • 建议通过Oplog日志获取源库的数据变更。

    • 仅4.0及以上版本的MongoDB支持通过Change Streams获取数据变更,使用Change Streams获取源库的数据变更不支持双向同步。

    • 源库为Amazon DocumentDB(非弹性集群)时,需要手动开启Change Streams,并在配置任务时将迁移方式选择为ChangeStream,将架构类型选择为分片集群架构

  • 在DTS同步期间,不支持MongoDB分片集群进行分片的扩缩容,否则会导致DTS任务失败。

  • 若源实例为分片集群架构的自建MongoDB,则接入方式仅支持专线/VPN网关/智能网关云企业网CEN

  • 源MongoDB分片集群实例的Mongos节点的数量不能超过10个。

  • 暂不支持同步包含TTL(Time To Live)索引的集合。若待同步的数据库中包含TTL索引,则可能会导致数据不一致。

  • 请确保源和目标实例中没有孤立文档,否则可能会导致数据不一致甚至任务失败。更多信息,请参见孤立文档如何清理MongoDB(分片集群架构)的孤立文档

  • 源库操作限制:

    • 在结构同步和全量同步阶段,请勿执行库或集合的结构变更(包含数组类型数据的更新),否则会导致数据迁移任务失败或源库与目标库的数据不一致。

    • 若仅执行全量数据同步,请勿向源实例中写入新的数据,否则会导致源库与目标库的数据不一致。

其他限制

  • 在任务开始前,需要为源端待同步的数据添加与目标端对应的分片键;在任务开始后,待同步的数据在使用INSERT命令时必须包含分片键,使用UPDATE命令时不支持更改分片键。

  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。

  • 不支持同步admin和local库中的数据。

  • 不保留事务信息,即源库中的事务同步到目标库时会转变为单条的记录。

  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。

  • 全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量同步阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

  • 全量同步期间必须关闭源MongoDB数据库的均衡器(Balancer),直至每个子任务都运行到增量阶段,否则可能会造成数据不一致。关于均衡器的操作,请参见管理MongoDB均衡器Balancer

  • 若您无需使用DTS提供的库表结构同步功能(例如目标端已配置好数据分片),在配置任务对象及高级配置阶段中,同步类型请勿勾选库表结构同步,否则可能会因为分片冲突而导致数据不一致或任务失败。

  • 若实例运行失败,DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中,可能会对该实例进行重启、调整参数等操作。

    说明

    在调整参数时,仅会修改实例的参数,不会对数据库中的参数进行修改。可能修改的参数,包括但不限于修改实例参数中的参数。

MongoDB(副本集架构)间双向同步

具体注意事项及限制如下:

类型

说明

源和目标库的限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据同步速率。

  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • 如同步对象为集合级别,且需进行编辑(如集合的名称映射),则单次同步任务仅支持同步至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置多个任务,或者配置整库的同步任务。

  • 源库待同步的单条数据不能超过16 MB,否则会导致任务失败。

  • 源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon DocumentDB。

  • 源库需开启Oplog日志,并确保Oplog日志至少保留7天以上;或者开启变更流(Change Streams),并确保DTS能够通过Change Streams订阅到源库最近7天内的数据变更。否则可能会因无法获取源库的数据变更而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题,不在DTS的SLA保障范围内。

    重要
    • 建议通过Oplog日志获取源库的数据变更。

    • 仅4.0及以上版本的MongoDB支持通过Change Streams获取数据变更,使用Change Streams获取源库的数据变更不支持双向同步。

    • 源库为Amazon DocumentDB(非弹性集群)时,需要手动开启Change Streams,并在配置任务时将迁移方式选择为ChangeStream,将架构类型选择为分片集群架构

  • 暂不支持同步包含TTL(Time To Live)索引的集合。若待同步的数据库中包含TTL索引,则可能会导致数据不一致。

  • 源和目标库需为相同架构的云数据库MongoDB版,即自建MongoDB或不同架构的MongoDB不支持双向同步。

  • 源库操作限制:

    • 在结构同步和全量同步阶段,请勿执行库或集合的结构变更(包含数组类型数据的更新),否则会导致数据迁移任务失败或源库与目标库的数据不一致。

    • 若仅执行全量数据同步,请勿向源实例中写入新的数据,否则会导致源库与目标库的数据不一致。

其他限制

  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。

  • 源和目标云数据库MongoDB版的架构需保持一致。(分片集群架构)

  • 不支持同步admin和local库中的数据。

  • 不保留事务信息,即源库中的事务同步到目标库时会转变为单条的记录。

  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。

  • 全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。

  • 在DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。例如,有除DTS外的数据写入目标库时,使用DMS执行在线DDL变更,可能引起目标库数据丢失。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量同步阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 双向同步实例包含正向和反向同步任务,在配置或重置双向同步实例时,若其中一个任务的目标对象是另一个任务待同步的对象:

    • 仅允许其中一个任务同步全量和增量数据,另一个任务仅支持同步增量数据。

    • 当前任务的源数据仅支持同步到当前任务的目标端,同步过来的数据不会作为另一个任务的源数据继续同步。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

  • 若实例运行失败,DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中,可能会对该实例进行重启、调整参数等操作。

    说明

    在调整参数时,仅会修改实例的参数,不会对数据库中的参数进行修改。可能修改的参数,包括但不限于修改实例参数中的参数。