迁移时源库为MongoDB的注意事项及限制

类型

说明

源库限制

• 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。

• 待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。

• 源库待迁移的单条数据不能超过16 MB，否则会导致任务失败。

• 源库的操作限制：

  • 在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更（包含数组类型数据的更新），否则会导致数据迁移任务失败或源库与目标库的数据不一致。

  • 由于该迁移任务不支持增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源MongoDB数据库中写入新的数据。

• 暂不支持迁移包含TTL（Time To Live）索引的集合。若待迁移的数据库中包含TTL索引，则可能会导致数据不一致。

其他限制

• 目标端实例为分片集群架构时：

  • 需清除孤立文档，否则将影响迁移性能。若在迁移过程遇到_id冲突的文档，则可能导致数据不一致或任务失败。

  • 在任务开始前，需要为源端待迁移的数据添加与目标端对应的分片键。若您无法为源端添加分片键，源MongoDB数据库的迁移操作，请参见MongoDB（无分片键）迁移至MongoDB（分片集群架构）。

  • 在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。

• 目标端实例为副本集架构时：

  • 当接入方式为专线/VPN网关/智能网关、公网IP或云企业网CEN时，域名或IP地址和端口须填入主节点的地址和端口，或配置高可用连接地址。更多关于高可用连接地址的信息，请参见创建源库或目标库为高可用MongoDB的实例。

  • 当接入方式为ECS自建数据库时，端口须填入主节点的端口。

• 不支持增量迁移。

• 不支持通过SRV地址连接MongoDB数据库。

• 若目标集合存在唯一索引或目标集合的capped属性为true时，则在增量迁移阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。

• 不支持迁移admin和local库中的数据。

• 不保留事务信息，即源库中的事务迁移到目标库时会转变为单条的记录。

• 在DTS将数据写入目标集合时，如果发生主键或唯一键冲突，DTS将直接跳过相应的数据写入语句，保留目标集合已有的数据。

• 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本迁移到高版本以保障兼容性。如为高版本迁移至低版本，可能存在数据库兼容性问题。

• 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。

• 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。

• 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位。

• DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后，源端数据覆盖目标实例的数据。

• 由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。

• 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

• 请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。

• 若实例运行失败，DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中，可能会对该实例进行重启、调整参数等操作。

  说明

  在调整参数时，仅会修改实例的参数，不会对数据库中的参数进行修改。可能修改的参数，包括但不限于修改实例参数中的参数。

• 若目标库为分片集群架构的MongoDB，在将业务切换为该数据库后，您需自行确保业务行为符合该MongoDB数据库对分片集合的要求。

特殊情况

当源库为自建MongoDB时，在迁移时，如果源库进行主备切换，将会导致迁移任务失败。

类型

说明

源库限制

• 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。

• 待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。

• 源库待迁移的单条数据不能超过16 MB，否则会导致任务失败。

• 源库为Azure Cosmos DB for MongoDB或弹性集群的Amazon DocumentDB时，仅支持全量迁移。

• 如需进行增量迁移：

  源库需开启Oplog日志，并确保Oplog日志至少保留7天以上；或者开启变更流（Change Streams），并确保DTS能够通过Change Streams订阅到源库最近7天内的数据变更。否则可能会因无法获取源库的数据变更而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题，不在DTS的SLA保障范围内。

  重要

  • 建议通过Oplog日志获取源库的数据变更。

  • 仅4.0及以上版本的MongoDB支持通过Change Streams获取数据变更。

  • 源库为Amazon DocumentDB（非弹性集群）时，需要手动开启Change Streams，并在配置任务时将迁移方式选择为ChangeStream，将架构类型选择为分片集群架构。

• 源库的操作限制：

  • 在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更（包含数组类型数据的更新），否则会导致数据迁移任务失败或源库与目标库的数据不一致。

  • 如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源库与目标库的数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。

• 暂不支持迁移包含TTL（Time To Live）索引的集合。若待迁移的数据库中包含TTL索引，则可能会导致数据不一致。

其他限制

• 目标端实例为分片集群架构时：

  • 需清除孤立文档，否则将影响迁移性能。若在迁移过程遇到_id冲突的文档，则可能导致数据不一致或任务失败。

  • 在任务开始前，需要为源端待迁移的数据添加与目标端对应的分片键。若您无法为源端添加分片键，源MongoDB数据库的迁移操作，请参见MongoDB（无分片键）迁移至MongoDB（分片集群架构）。

  • 在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。

• 目标端实例为副本集架构时：

  • 当接入方式为专线/VPN网关/智能网关、公网IP或云企业网CEN时，域名或IP地址和端口须填入主节点的地址和端口，或配置高可用连接地址。更多关于高可用连接地址的信息，请参见创建源库或目标库为高可用MongoDB的实例。

  • 当接入方式为ECS自建数据库时，端口须填入主节点的端口。

• 不支持通过SRV地址连接MongoDB数据库。

• 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本迁移到高版本以保障兼容性。如为高版本迁移至低版本，可能存在数据库兼容性问题。

• 不支持迁移admin和local库中的数据。

• 若目标集合存在唯一索引或目标集合的capped属性为true时，则在增量迁移阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。

• 不保留事务信息，即源库中的事务迁移到目标库时会转变为单条的记录。

• 在DTS将数据写入目标集合时，如果发生主键或唯一键冲突，DTS将直接跳过相应的数据写入语句，保留目标集合已有的数据。

• 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。

• 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。

• 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位。

• DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后，源端数据覆盖目标实例的数据。

• 由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。

• 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

• 请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。

• 若实例运行失败，DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中，可能会对该实例进行重启、调整参数等操作。

  说明

  在调整参数时，仅会修改实例的参数，不会对数据库中的参数进行修改。可能修改的参数，包括但不限于修改实例参数中的参数。

• 若目标库为分片集群架构的MongoDB，在将业务切换为该数据库后，您需自行确保业务行为符合该MongoDB数据库对分片集合的要求。

特殊情况

当源库为自建MongoDB时：

• 在迁移时，如果源库进行主备切换，将会导致迁移任务失败。

• 由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行更新操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个更新操作来更新延迟信息。

类型

说明

源库限制

• 带宽要求：源库所属的服务器需具备足够的出口带宽，否则将影响数据迁移速率。

• 待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

• 待迁移集合中的_id字段需具有唯一性，否则可能会导致数据不一致。

• 如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。

• 源库待迁移的单条数据不能超过16 MB，否则会导致任务失败。

• DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。

• MongoDB实例支持的版本与存储引擎请参见版本及存储引擎，如需跨版本或跨引擎迁移，请提前确认兼容性。

• 源库为Azure Cosmos DB for MongoDB或弹性集群的Amazon DocumentDB时，仅支持全量迁移。

• 如需进行增量迁移：

  源库需开启Oplog日志，并确保Oplog日志至少保留7天以上；或者开启变更流（Change Streams），并确保DTS能够通过Change Streams订阅到源库最近7天内的数据变更。否则可能会因无法获取源库的数据变更而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题，不在DTS的SLA保障范围内。

  重要

  • 建议通过Oplog日志获取源库的数据变更。

  • 仅4.0及以上版本的MongoDB支持通过Change Streams获取数据变更。

  • 源库为Amazon DocumentDB（非弹性集群）时，需要手动开启Change Streams，并在配置任务时将迁移方式选择为ChangeStream，将架构类型选择为分片集群架构。

• 若迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移最多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的集合，分批配置多个任务，或者配置整库的迁移任务。

• 不支持数据库admin和local作为源和目标库。

• 源自建MongoDB分片集群实例的Mongos节点的数量不能超过10个。

• 暂不支持迁移包含TTL（Time To Live）索引的集合。若待迁移的数据库中包含TTL索引，则可能会导致数据不一致。

• 请确保源和目标MongoDB分片集群实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见孤立文档和如何清理MongoDB（分片集群架构）的孤立文档。

• 源库的操作限制：

  • 在结构迁移和全量迁移阶段，请勿执行库或集合的结构变更（包含数组类型数据的更新），否则会导致数据迁移任务失败或源库与目标库的数据不一致。

  • 如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源库与目标库的数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。

• 若源库的均衡器Balancer存在均衡数据的行为，则可能会导致实例产生延迟。

其他限制

• 若您先购买DTS任务再进行配置，则需要在购买DTS任务时填写其正确的Shard数量。

• 目标端实例为副本集架构时：

  • 当接入方式为专线/VPN网关/智能网关、公网IP或云企业网CEN时，域名或IP地址和端口须填入主节点的地址和端口，或配置高可用连接地址。更多关于高可用连接地址的信息，请参见创建源库或目标库为高可用MongoDB的实例。

  • 当接入方式为ECS自建数据库时，端口须填入主节点的端口。

• 不支持通过SRV地址连接MongoDB数据库。

• 在任务开始前，需要为源端待迁移的数据添加与目标端对应的分片键；在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。

• 全量迁移期间必须关闭源MongoDB数据库的均衡器（Balancer），直至每个子任务都运行到增量阶段，否则可能会造成数据不一致。关于均衡器的操作，请参见管理MongoDB均衡器Balancer。

• 请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。

• 不保留事务信息，即源库中的事务迁移到目标库时会转变为单条的记录。

• 在DTS将数据写入目标集合时，如果发生主键或唯一键冲突，DTS将直接跳过相应的数据写入语句，保留目标集合已有的数据。

• 在DTS迁移期间，不支持MongoDB分片集群进行分片的扩缩容，否则会导致DTS任务失败。

• 目标端MongoDB的count数量需要使用db.$table_name.aggregate([{ $count:"myCount"}])语法查询。

• 由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。

• 若目标集合存在唯一索引或目标集合的capped属性为true时，则在增量迁移阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。

• 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。

• 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源数据库的表存储空间大。

• DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者使用revoke命令回收DTS访问目标实例账号的写权限。避免该任务被自动恢复后，源端数据覆盖目标实例的数据。

• 若实例运行失败，DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中，可能会对该实例进行重启、调整参数等操作。

  说明

  在调整参数时，仅会修改实例的参数，不会对数据库中的参数进行修改。可能修改的参数，包括但不限于修改实例参数中的参数。

• 若目标库为分片集群架构的MongoDB，在将业务切换为该数据库后，您需自行确保业务行为符合该MongoDB数据库对分片集合的要求。