阿里云Milvus实例间的数据迁移
您可以使用阿里云 Milvus 数据迁移服务,将本地 IDC、其他云平台或阿里云 ECS 上自建的 Milvus 数据库数据迁移至阿里云 Milvus 服务,同时也支持两个阿里云 Milvus 实例间进行数据迁移(包括同账号和跨账号场景)。该服务采用全量的迁移机制,确保数据完整同步。本文以阿里云 Milvus 实例之间进行数据迁移为例,详细介绍如何通过数据迁移服务将数据安全、高效地迁移至阿里云 Milvus。
限制与配置要求
迁移前准备(必须执行)
-
操作状态控制
集群类型
要求
说明
源集群
停止所有数据变更操作
包括写入、删除和更新操作,确保集群处于只读状态,防止数据变动导致迁移过程中出现不一致。
目标集群
暂停所有数据操作
包括查询、写入、删除和更新操作,保持不可用状态,避免与迁移数据冲突。
-
版本兼容性
要求
规范
源集群版本
必须高于 2.3.6(即 ≥ v2.3.7)
目标集群版本
必须不低于源集群版本
迁移任务限制
任务管理
并发限制:同一时间仅能执行1个迁移任务。
数据范围
数据库限制:每个迁移任务仅支持同一数据库下的Collection。
Collection数量:最多包含5个Collection。
数据总量:所有Collection的总实体数量不超过5亿。
数据状态
源数据要求:待迁移的Collection必须处于已加载状态(load状态)。
目标实例要求:必须是空实例(无任何现有实体数据)。
网络要求
-
两个Milvus在相同的地域:通过内网地址连接实例,无需配置白名单、安全组等操作,且数据传输更快。
-
两个Milvus在不同的地域:通过公网地址连接实例,需要将目标实例所在区域的公网IP地址段添加到源实例的公网白名单。
目标实例所在地域
IP地址段(CIDR)
华北 2(北京)
39.105.32.0/24华南 1(深圳)
120.77.174.0/24华东 2(上海)
47.117.185.0/24中国(香港)
8.217.170.0/24华东1(杭州)
115.29.196.0/24乌兰察布
121.89.83.0/24新加坡(亚太东南)
45.113.192.0/24德国(法兰克福)
47.245.133.0/24 -
两个Milvus在不同的账号下(跨账号迁移):源集群的 EndPoint 字段支持输入任意 Milvus 实例的连接地址,包括其他阿里云账号下的实例地址。跨账号迁移时,需要确保目标实例能够通过网络访问源实例的 EndPoint 地址。若两个实例在不同的 VPC 中,需先通过云企业网(CEN)等方式打通网络;若使用公网地址连接,需将目标实例所在区域的公网 IP 地址段添加到源实例的公网白名单。
迁移步骤
-
登录阿里云Milvus控制台,单击数据迁移,单击Milvus(通过 EndPoint 迁移 )。

-
配置源集群连接信息并选择目标集群,然后单击下一步。
-
源集群 Endpoint:源 Milvus 集群的连接地址。同账号同地域场景填写内网地址,跨账号或跨地域场景填写公网地址或已打通网络的内网地址。

-
用户名和密码:源 Milvus 实例的用户名和密码。跨账号迁移时,填写源账号下 Milvus 实例的认证信息。

-
-
选择待迁移的Database并将其添加到目标Database中,然后单击下一步。

-
检查并配置字段映射,然后单击确认启动迁移任务。

监控与验证
-
在控制台查看迁移进度、错误日志

-
迁移完成后,建议校验目标集合的数据量与召回一致性。
