将ECS上单节点或副本集架构的自建MongoDB迁移上云

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将ECS上的单节点或副本集架构的自建MongoDB数据迁移至阿里云MongoDB实例中。通过DTS的增量迁移功能,可以实现在应用不停服的情况下,平滑完成数据库的迁移。

本文为旧版DTS控制台操作步骤,新版DTS迁移上云方法如下:

前提条件

  • 自建MongoDB数据库版本为3.0及以上版本。

  • 阿里云MongoDB实例的存储空间须大于自建数据库占用的存储空间。

注意事项

  • 为避免影响您的正常业务使用,请在业务低峰期进行数据迁移。

  • config数据库属于系统内部数据库,如无特殊需求,请勿迁移该库。

  • MongoDB实例支持的版本与存储引擎请参见版本及存储引擎,如需跨版本或跨引擎迁移,请提前确认兼容性。

费用说明

迁移类型 链路配置费用 公网流量费用
全量数据迁移 不收取 不收取
增量数据迁移 收取,费用详情请参见数据传输服务DTS定价 不收取

迁移类型说明

  • 全量数据迁移:将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。
    说明 支持database、collection、index的迁移。
  • 增量数据迁移:在全量迁移的基础上,将源MongoDB数据库的增量更新数据同步到目标MongoDB数据库中。
    说明
    • 支持database、collection、index的新建和删除操作的同步。
    • 支持document的新增、删除和更新操作的同步。

数据库账号的权限要求

迁移数据源

全量数据迁移

增量数据迁移

ECS上的自建MongoDB数据库

待迁移库的read权限

待迁移库、admin库和local库的read权限

阿里云MongoDB实例

目标库的readWrite权限

目标库的readWrite权限

数据库账号创建及授权方法:

迁移前准备工作

如果ECS上的自建数据库为副本集架构,您可跳过本步骤。

ECS上的自建数据库为单节点架构,且需要进行增量数据迁移时,您需要开启源数据库的oplog,详情请参见使用DTS迁移单节点架构的自建MongoDB数据库上云

操作步骤

  1. 登录数据传输控制台
  2. 单击页面右下角返回DTS旧版控制台图标,返回旧版控制台。

  3. 在左侧导航栏,单击数据迁移
  4. 迁移任务列表页面顶部,选择阿里云MongoDB实例所属的地域。

  5. 单击右上角的创建迁移任务
  6. 配置迁移任务的源库及目标库信息。

    类别

    配置

    说明

    任务名称

    • DTS为每个任务自动生成一个任务名称,该名称没有唯一性要求。

    • 您可以修改任务名称,建议为任务配置具有业务意义的名称,便于后续的识别。

    源库信息

    实例类型

    选择ECS上的自建数据库

    实例地区

    选择ECS实例所属的地域。

    ECS实例ID

    选择自建MongoDB数据库所属的ECS实例ID。

    数据库类型

    选择MongoDB

    端口

    填入自建MongoDB数据库的服务端口。

    数据库名称

    填入鉴权数据库名称。

    数据库账号

    填入自建MongoDB数据库的连接账号,权限要求请参见数据库账号的权限要求

    数据库密码

    填入自建MongoDB数据库账号对应的密码。

    说明

    源库信息填写完毕后,您可以单击数据库密码后的测试连接来验证填入的源库信息是否正确。源库信息填写正确则提示测试通过。如提示测试失败,单击测试失败后的诊断,根据提示调整填写的源库信息。

    目标库信息

    实例类型

    选择MongoDB实例

    实例地区

    选择目标MongoDB实例所在地域。

    MongoDB实例ID

    选择目标MongoDB实例ID。

    数据库名称

    填入鉴权数据库名称。

    数据库账号

    填入连接目标MongoDB实例的数据库账号,权限要求请参见数据库账号的权限要求

    数据库密码

    填入连接目标MongoDB实例的数据库账号对应的密码。

    说明

    目标库信息填写完毕后,您可以单击数据库密码后的测试连接来验证填入的目标库信息是否正确。目标库信息填写正确则提示测试通过。如提示测试失败,单击测试失败后的诊断,根据提示调整填写的目标库信息。

  7. 配置完成后,单击页面右下角的授权白名单并进入下一步

    说明
    • 如果源或目标数据库是阿里云数据库实例(例如RDS MySQL、云数据库MongoDB等)或ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中,您无需手动添加,请参见DTS服务器的IP地址段

    • 如源或目标数据库为自建数据库,且添加DTS服务的公网IP地址段,以允许来自DTS服务器的访问,则可能存在安全风险,谨慎使用。建议加强账号密码防范、限制放行的端口号,或者使用通过内网(专线/VPN网关/智能网关)接入。

    • DTS任务完成或释放后,建议您手动删除添加的DTS服务器IP地址段。

  8. 选择迁移对象及迁移类型。

    配置

    说明

    迁移类型

    • 如果只需要进行全量迁移,则勾选全量数据迁移

      说明

      为保障数据一致性,全量数据迁移期间请勿在自建MongoDB数据库中写入新的数据。

    • 如果需要进行不停机迁移,则同时选择全量数据迁移增量数据迁移

      说明

      单节点架构的自建MongoDB数据库,须提前开启oplog才可以使用增量数据迁移功能,详情请参见迁移前准备工作

    迁移对象

    • 迁移对象框中单击待迁移的对象,然后单击将其移动到已选择对象框。

      说明
      • 不支持迁移adminlocal数据库。

      • config数据库属于系统内部数据库,如无特殊需求,请勿迁移config数据库。

    • 迁移对象选择的粒度为database、collection/function。

    • 默认情况下,迁移完成后,迁移对象的名称保持不变。如果您需要迁移对象在目标数据库中的名称不同,那么需要使用DTS提供的对象名映射功能。使用方法请参见库表列映射

  9. 上述配置完成后,单击页面右下角的预检查并启动
    说明
    • 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
    • 如果预检查失败,单击具体检查项后的提示,查看失败详情。根据提示修复后,重新进行预检查。
  10. 预检查通过后,单击下一步
  11. 购买配置确认页面,选择链路规格并勾选数据传输(按量付费)服务条款
  12. 单击购买并启动,迁移任务正式开始。
    • 全量数据迁移

      请勿手动结束迁移任务,否则可能会导致数据不完整。您只需等待迁移任务完成即可,迁移任务会自动结束。

    • 增量数据迁移

      迁移任务不会自动结束,需要手动结束迁移任务。

      说明 请选择合适的时间手动结束迁移任务,例如业务低峰期或准备将业务切换至MongoDB实例时。
      1. 观察迁移任务的进度变更为增量迁移,并显示为无延迟状态时,将源库停写几分钟,此时增量迁移的状态可能会显示延迟的时间。
      2. 等待迁移任务的增量迁移再次进入无延迟状态,手动结束迁移任务。增量迁移无延迟
  13. 将业务切换至阿里云MongoDB实例。