阿里云Milvus实例间的数据迁移

更新时间:
复制 MD 格式

您可以使用阿里云 Milvus 数据迁移服务,将本地 IDC、其他云平台或阿里云 ECS 上自建的 Milvus 数据库数据迁移至阿里云 Milvus 服务,同时也支持两个阿里云 Milvus 实例间进行数据迁移(包括同账号和跨账号场景)。该服务采用全量的迁移机制,确保数据完整同步。本文以阿里云 Milvus 实例之间进行数据迁移为例,详细介绍如何通过数据迁移服务将数据安全、高效地迁移至阿里云 Milvus。

限制与配置要求

迁移前准备(必须执行)

  1. 操作状态控制

    集群类型

    要求

    说明

    源集群

    停止所有数据变更操作

    包括写入、删除和更新操作,确保集群处于只读状态,防止数据变动导致迁移过程中出现不一致。

    目标集群

    暂停所有数据操作

    包括查询、写入、删除和更新操作,保持不可用状态,避免与迁移数据冲突。

  2. 版本兼容性

    要求

    规范

    源集群版本

    必须高于 2.3.6(即 ≥ v2.3.7)

    目标集群版本

    必须不低于源集群版本

迁移任务限制

  1. 任务管理

    • 并发限制:同一时间仅能执行1个迁移任务。

  2. 数据范围

    • 数据库限制:每个迁移任务仅支持同一数据库下的Collection。

    • Collection数量:最多包含5Collection。

    • 数据总量:所有Collection的总实体数量不超过5亿。

  3. 数据状态

    • 源数据要求:待迁移的Collection必须处于已加载状态(load状态)。

    • 目标实例要求:必须是空实例(无任何现有实体数据)。

网络要求

  • 两个Milvus在相同的地域:通过内网地址连接实例,无需配置白名单、安全组等操作,且数据传输更快。

  • 两个Milvus在不同的地域:通过公网地址连接实例,需要将目标实例所在区域的公网IP地址段添加到源实例的公网白名单。

    目标实例所在地域

    IP地址段(CIDR)

    华北 2(北京)

    39.105.32.0/24

    华南 1(深圳)

    120.77.174.0/24

    华东 2(上海)

    47.117.185.0/24

    中国(香港)

    8.217.170.0/24

    华东1(杭州)

    115.29.196.0/24

    乌兰察布

    121.89.83.0/24

    新加坡(亚太东南)

    45.113.192.0/24

    德国(法兰克福)

    47.245.133.0/24

  • 两个Milvus在不同的账号下(跨账号迁移):源集群的 EndPoint 字段支持输入任意 Milvus 实例的连接地址,包括其他阿里云账号下的实例地址。跨账号迁移时,需要确保目标实例能够通过网络访问源实例的 EndPoint 地址。若两个实例在不同的 VPC 中,需先通过云企业网(CEN)等方式打通网络;若使用公网地址连接,需将目标实例所在区域的公网 IP 地址段添加到源实例的公网白名单。

迁移步骤

  1. 登录阿里云Milvus控制台,单击数据迁移,单击Milvus(通过 EndPoint 迁移 )

    image

  2. 配置源集群连接信息并选择目标集群,然后单击下一步

    • 源集群 Endpoint:源 Milvus 集群的连接地址。同账号同地域场景填写内网地址,跨账号或跨地域场景填写公网地址或已打通网络的内网地址。

      image

    • 用户名密码:源 Milvus 实例的用户名和密码。跨账号迁移时,填写源账号下 Milvus 实例的认证信息。

      image

  3. 选择待迁移的Database并将其添加到目标Database中,然后单击下一步

    image

  4. 检查并配置字段映射,然后单击确认启动迁移任务。

    image

监控与验证

  • 在控制台查看迁移进度、错误日志

    image

  • 迁移完成后,建议校验目标集合的数据量与召回一致性。