文档

迁移时源库为MongoDB的注意事项及限制

更新时间:

如果迁移的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。

源库为MongoDB的迁移方案概览

根据如下迁移方案,查看迁移任务的注意事项及限制:

MongoDB(单节点架构)迁移至MongoDB(所有架构)

类型

说明

源库限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。

  • 待迁移的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • 如迁移对象为集合级别,且需进行编辑(如集合的名称映射),则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待迁移的集合,分批配置多个任务,或者配置整库的迁移任务。

  • 源库的操作限制:

    • 在结构迁移和全量迁移阶段,请勿执行库或集合的结构变更,否则数据迁移任务会失败。

    • 由于该迁移任务不支持增量数据迁移,为保障数据一致性,全量数据迁移期间请勿在源MongoDB数据库中写入新的数据。

  • 暂不支持迁移包含TTL(Time To Live)索引的集合。若待迁移的数据库中包含TTL索引,则可能会由于源库和目标库时区、时钟等的不一致,导致数据不一致。

其他限制

  • 目标端实例为分片集群架构时:

    • 需清除孤立文档,否则将影响迁移性能。若在迁移过程遇到_id冲突的文档,则可能导致数据不一致或任务失败。

    • 在任务开始前,需要为源端待迁移的数据添加与目标端对应的分片键。若您无法为源端添加分片键,源MongoDB数据库的迁移操作,请参见MongoDB(无分片键)迁移至MongoDB(分片集群架构)

    • 在任务开始后,待迁移的数据在使用INSERT命令时必须包含分片键,使用UPDATE命令时不支持更改分片键。

  • 仅支持结构迁移和全量迁移。由于单节点架构的MongoDB数据库不支持开启Oplog,因此暂不支持增量迁移。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量迁移阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 不支持迁移admin和local库中的数据。

  • 不保留事务信息,即源库中的事务迁移到目标库时会转变为单条的记录。

  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本迁移到高版本以保障兼容性。如为高版本迁移至低版本,可能存在数据库兼容性问题。

  • 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。

  • 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。

  • 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。

  • DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

特殊情况

当源库为自建MongoDB时,在迁移时,如果源库进行主备切换,将会导致迁移任务失败。

MongoDB(副本集架构)迁移至MongoDB(副本集架构、分片集群架构)

类型

说明

源库限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。

  • 待迁移的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • 如迁移对象为集合级别,且需进行编辑(如集合的名称映射),则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待迁移的集合,分批配置多个任务,或者配置整库的迁移任务。

  • 如需进行增量迁移,Oplog日志:

    • 需开启,否则预检查阶段提示报错,且无法成功启动数据迁移任务。

    • DTS要求源数据库的Oplog日志至少保留7天以上,否则DTS可能因无法获取Oplog日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。

  • 源库的操作限制:

    • 在结构迁移和全量迁移阶段,请勿执行库或集合的结构变更,否则数据迁移任务会失败。

    • 如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。

  • 暂不支持迁移包含TTL(Time To Live)索引的集合。若待迁移的数据库中包含TTL索引,则可能会由于源库和目标库时区、时钟等的不一致,导致数据不一致。

其他限制

  • 目标端实例为分片集群架构时:

    • 需清除孤立文档,否则将影响迁移性能。若在迁移过程遇到_id冲突的文档,则可能导致数据不一致或任务失败。

    • 在任务开始前,需要为源端待迁移的数据添加与目标端对应的分片键。若您无法为源端添加分片键,源MongoDB数据库的迁移操作,请参见MongoDB(无分片键)迁移至MongoDB(分片集群架构)

    • 在任务开始后,待迁移的数据在使用INSERT命令时必须包含分片键,使用UPDATE命令时不支持更改分片键。

  • 建议源和目标库的MongoDB的数据库版本保持一致,或者从低版本迁移到高版本以保障兼容性。如为高版本迁移至低版本,可能存在数据库兼容性问题。

  • 不支持迁移admin和local库中的数据。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量迁移阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 不保留事务信息,即源库中的事务迁移到目标库时会转变为单条的记录。

  • 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。

  • 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。

  • 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。

  • DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

特殊情况

当源库为自建MongoDB时:

  • 在迁移时,如果源库进行主备切换,将会导致迁移任务失败。

  • 由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出,源库长时间未执行更新操作可能导致延迟信息不准确。如果任务显示的延迟时间过大,您可以在源库执行一个更新操作来更新延迟信息。

说明

如果迁移对象选择为整库,您还可以创建心跳表,心跳表每秒定期更新或者写入数据。

MongoDB(分片集群架构)间的迁移

类型

说明

源库限制

  • 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。

  • 待迁移的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。

  • DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。

  • MongoDB实例支持的版本与存储引擎请参见版本及存储引擎,如需跨版本或跨引擎迁移,请提前确认兼容性。

  • 如需进行增量迁移,需开启Oplog日志。否则预检查阶段提示报错,且无法成功启动数据迁移任务。

    DTS要求源数据库的Oplog日志至少保留7天以上,否则DTS可能因无法获取Oplog日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。

  • 若迁移对象为集合级别,且需进行编辑(如集合的名称映射),则单次迁移任务仅支持迁移最多1000张集合。当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待迁移的集合,分批配置多个任务,或者配置整库的迁移任务。

  • 不支持数据库admin和local作为源和目标库。

  • 源自建MongoDB分片集群实例的Mongos节点的数量不能超过10个。

  • 暂不支持迁移包含TTL(Time To Live)索引的集合。若待迁移的数据库中包含TTL索引,则可能会由于源库和目标库时区、时钟等的不一致,导致数据不一致。

  • 请确保源和目标MongoDB分片集群实例中没有孤立文档,否则可能会导致数据不一致甚至任务失败。更多信息,请参见孤立文档如何清理MongoDB(分片集群架构)的孤立文档?

其他限制

  • 若您先购买DTS任务再进行配置,则需要在购买DTS任务时填写其正确的Shard数量。

  • 在任务开始前,需要为源端待迁移的数据添加与目标端对应的分片键;在任务开始后,待迁移的数据在使用INSERT命令时必须包含分片键,使用UPDATE命令时不支持更改分片键。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

  • 不保留事务信息,即源库中的事务迁移到目标库时会转变为单条的记录。

  • 在DTS迁移期间,不支持MongoDB分片集群进行分片的扩缩容,否则会导致DTS任务失败。

  • 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 若目标集合存在唯一索引或目标集合的capped属性为true时,则在增量迁移阶段该集合不支持并发回放(只支持单线程写入),从而可能会导致任务延迟增高。

  • 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。

  • 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标数据库的表存储空间会比源数据库的表存储空间大。

  • DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者使用revoke命令回收DTS访问目标实例账号的写权限。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。

  • 本页导读 (1)
文档反馈