迁移时源库为MongoDB的注意事项及限制

类型

说明

源库限制

• 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。

• 待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。

• 源库的操作限制：

  • 在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更，否则数据迁移任务会失败。

  • 由于该迁移任务不支持增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源MongoDB数据库中写入新的数据。

其他限制

• 目标端实例为分片集群架构时：

  • 在任务开始前，需要为源端待迁移的数据添加与目标端对应的分片键。若您无法为源端添加分片键，源MongoDB数据库的迁移操作，请参见MongoDB（无分片键）迁移至MongoDB（分片集群架构）。

  • 在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。

• 仅支持结构迁移和全量迁移。由于单节点架构的MongoDB数据库不支持开启Oplog，因此暂不支持增量迁移。

• 不支持迁移admin和local库中的数据。

• 不保留事务信息，即源库中的事务迁移到目标库时会转变为单条的记录。

• 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本迁移到高版本以保障兼容性。如为高版本迁移至低版本，可能存在数据库兼容性问题。

• 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。

• 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。

• 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位。

• DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后，源端数据覆盖目标实例的数据。

• 由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。

• 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

• 请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。

特殊情况

当源库为自建MongoDB时，在迁移时，如果源库进行主备切换，将会导致迁移任务失败。

类型

说明

源库限制

• 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。

• 待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。

• 如需进行增量迁移，Oplog日志：

  • 需开启，否则预检查阶段提示报错，且无法成功启动数据迁移任务。

  • 如为增量迁移任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的Oplog日志至少保留7天以上（您可在全量迁移完成后将Oplog日志保存时间设置为24小时以上），否则DTS可能因无法获取Oplog日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 源库的操作限制：

  • 在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更，否则数据迁移任务会失败。

  • 如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。

其他限制

• 目标端实例为分片集群架构时：

  • 在任务开始前，需要为源端待迁移的数据添加与目标端对应的分片键。若您无法为源端添加分片键，源MongoDB数据库的迁移操作，请参见MongoDB（无分片键）迁移至MongoDB（分片集群架构）。

  • 在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。

• 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本迁移到高版本以保障兼容性。如为高版本迁移至低版本，可能存在数据库兼容性问题。

• 不支持迁移admin和local库中的数据。

• 不保留事务信息，即源库中的事务迁移到目标库时会转变为单条的记录。

• 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。

• 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。

• 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位。

• DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后，源端数据覆盖目标实例的数据。

• 由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。

• 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

• 请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。

特殊情况

当源库为自建MongoDB时：

• 在迁移时，如果源库进行主备切换，将会导致迁移任务失败。

• 由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行更新操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个更新操作来更新延迟信息。