将ECS上分片集群架构的自建MongoDB迁移上云

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将ECS上分片集群架构的自建MongoDB数据迁移至阿里云MongoDB实例中。通过DTS的增量迁移功能,可以实现在应用不停服的情况下,平滑完成数据库的迁移。

本文为旧版DTS迁移操作界面,新版DTS迁移步骤,请参见自建数据库MongoDB版(分片集群架构)迁移至云数据库MongoDB版(分片集群架构)

迁移原理介绍

DTS通过迁移分片集群中的每个Shard节点来实现分片集群数据库的整体迁移,您需要为每个Shard节点创建一个对应的数据迁移任务。

说明

数据在目标MongoDB实例中的分布取决于您设置的片键,详情请参见设置数据分片以充分利用Shard性能

迁移原理

前提条件

  • 自建MongoDB数据库版本为3.0及以上版本。

  • 确保目标分片集群实例中的Shard节点具备充足的存储空间。

    说明

    例如ECS上的自建数据库中有三个Shard节点,其中第二个Shard节点占用的存储空间最多(500GB),那么目标分片集群实例中的每个Shard节点的存储空间均需要大于500GB。

注意事项

  • DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。

  • MongoDB实例支持的版本与存储引擎请参见版本及存储引擎,如需跨版本或跨引擎迁移,请提前确认兼容性。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

  • 请确保目标端MongoDB没有与源端相同的主键(默认为_id),否则会导致数据丢失。若目标端有与源端相同的主键,请在不影响业务的前提条件下清空目标端的相关数据(删掉目标端中与源端相同_id的文档)。

  • 不支持数据库adminlocal作为源和目标库。

  • MongoDB分片集群实例的Mongos节点的数量不能超过10个。

费用说明

迁移类型

链路配置费用

公网流量费用

全量数据迁移

不收费。

通过公网将数据迁移出阿里云时将收费,详情请参见DTS产品定价

增量数据迁移

收费,详情请参见DTS产品定价

迁移类型说明

  • 全量数据迁移:将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。

    说明

    支持database、collection、index的迁移。

  • 增量数据迁移:在全量迁移的基础上,将源MongoDB数据库的增量更新数据同步到目标MongoDB数据库中。

    说明
    • 支持database、collection、index的新建和删除操作的同步。

    • 支持document的新增、删除和更新操作的同步。

数据库账号的权限要求

迁移数据源

全量数据迁移

增量数据迁移

ECS上的自建MongoDB数据库

待迁移库的read权限

待迁移库、admin库和local库的read权限

阿里云MongoDB实例

目标库的readWrite权限

目标库的readWrite权限

数据库账号创建及授权方法:

迁移前准备工作

在正式开始数据迁移之前,您需要关闭源数据库的均衡器并清理孤立文档,详情请参见分片集群架构的数据库迁移前准备工作

操作步骤

  1. 登录数据传输控制台
  2. 在左侧导航栏,单击数据迁移

  3. 迁移任务列表页面顶部,选择阿里云MongoDB实例所属的地域。

  4. 单击右上角的创建迁移任务

  5. 配置迁移任务的源库及目标库信息。

    类别

    配置

    说明

    任务名称

    -

    • DTS为每个任务自动生成一个任务名称,该名称没有唯一性要求。

    • 您可以修改任务名称,建议为任务配置具有业务意义的名称,便于后续的识别。

    源库信息

    实例类型

    选择ECS上的自建数据库

    实例地区

    选择ECS实例所属的地域。

    ECS实例ID

    DTS通过依次迁移分片集群中的每个Shard节点来实现整体迁移。此处先选择第一个Shard节点所属的ECS实例ID。

    稍后创建第二个迁移任务时,此处选择第二个Shard节点所属的ECS实例ID。以此类推,直至迁移所有Shard节点。

    数据库类型

    选择MongoDB

    端口

    此处先填入第一个Shard节点的服务端口。

    稍后创建第二个迁移任务时,此处填入第二个Shard节点的服务端口。以此类推,直至迁移所有Shard节点。

    数据库名称

    填入鉴权数据库名称。

    数据库账号

    填入自建MongoDB数据库的连接账号,权限要求请参见数据库账号的权限要求

    数据库密码

    填入自建MongoDB数据库账号对应的密码。

    说明

    源库信息填写完毕后,您可以单击数据库密码后的测试连接来验证填入的源库信息是否正确。源库信息填写正确则提示测试通过,如提示测试失败,单击测试失败后的诊断,根据提示调整填写的源库信息。

    目标库信息

    实例类型

    选择MongoDB实例

    实例地区

    选择目标MongoDB实例所在地域。

    MongoDB实例ID

    选择目标MongoDB实例ID。

    数据库名称

    填入鉴权数据库名称。

    数据库账号

    填入连接目标MongoDB实例的数据库账号,权限要求请参见数据库账号的权限要求

    数据库密码

    填入连接目标MongoDB实例的数据库账号对应的密码。

    说明

    目标库信息填写完毕后,您可以单击数据库密码后的测试连接来验证填入的目标库信息是否正确。目标库信息填写正确则提示测试通过。如提示测试失败,单击测试失败后的诊断,根据提示调整填写的目标库信息。

  6. 配置完成后,单击页面右下角的授权白名单并进入下一步

    说明
    • 如果源或目标数据库是阿里云数据库实例(例如RDS MySQL、云数据库MongoDB等)或ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中,您无需手动添加,请参见DTS服务器的IP地址段

    • 如源或目标数据库为自建数据库,且添加DTS服务的公网IP地址段,以允许来自DTS服务器的访问,则可能存在安全风险,谨慎使用。建议加强账号密码防范、限制放行的端口号,或者使用通过内网(专线/VPN网关/智能网关)接入。

    • DTS任务完成或释放后,建议您手动删除添加的DTS服务器IP地址段。

  7. 选择迁移对象及迁移类型。

    配置

    说明

    迁移类型

    • 如果只需要进行全量迁移,则勾选全量数据迁移

      说明

      为保障数据一致性,全量数据迁移期间请勿在自建MongoDB数据库中写入新的数据。

    • 如果需要进行不停机迁移,则同时选择全量数据迁移增量数据迁移

    迁移对象

    • 迁移对象框中单击待迁移的对象,然后单击将其移动到已选择对象框。

      说明
      • 不支持迁移adminlocal数据库。

      • config数据库属于系统内部数据库,如无特殊需求,请勿迁移config数据库。

    • 迁移对象选择的粒度为database、collection/function。

    • 默认情况下,迁移完成后,迁移对象的名称保持不变。如果您需要迁移对象在目标数据库中的名称不同,那么需要使用DTS提供的对象名映射功能。使用方法请参见库表列映射

  8. 上述配置完成后,单击页面右下角的预检查并启动

    说明
    • 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。

    • 如果预检查失败,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。

    • 如果预检查产生警告:

      • 对于不可以忽略的检查项,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。

      • 对于可以忽略无需修复的检查项,您可以依次单击点击确认告警详情确认屏蔽确定重新进行预检查,跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项,可能会导致数据不一致等问题,给业务带来风险。

  9. 预检查通过后,单击下一步

  10. 购买配置确认页面,选择链路规格并勾选数据传输(按量付费)服务条款

  11. 单击购买并启动,迁移任务正式开始。

  12. 重复第4步到第11步的操作,为剩余的Shard节点创建迁移任务。

  13. 完成迁移任务。

    • 全量数据迁移

      请勿手动结束迁移任务,否则可能会导致数据不完整。您只需等待迁移任务完成即可,迁移任务会自动结束。

    • 增量数据迁移

      迁移任务不会自动结束,需要手动结束迁移任务。

      说明

      请选择合适的时间手动结束迁移任务,例如业务低峰期或准备将业务切换至MongoDB实例时。

      1. 等待所有Shard节点的迁移任务的进度变更为增量迁移,并显示为无延迟状态时,将源库停写几分钟,此时增量迁移的状态可能会显示延迟的时间。

      2. 等待所有Shard节点迁移任务的增量迁移再次进入无延迟状态后,手动结束迁移任务。结束迁移任务

  14. 将业务切换至阿里云MongoDB实例。