阿里云Milvus实例间的数据迁移
您可以使用阿里云 Milvus 数据迁移服务,将本地 IDC、其他云平台或阿里云 ECS 上自建的 Milvus 数据库数据迁移至阿里云 Milvus 服务,同时也支持两个阿里云 Milvus 实例间进行数据迁移。该服务采用全量加增量的迁移机制,确保数据完整同步。本文以阿里云Milvus 实例之间进行数据迁移为例,详细介绍如何通过数据迁移服务将数据安全、高效地迁移至阿里云 Milvus。
限制与配置要求
迁移前准备(必须执行)
操作状态控制
集群类型
要求
说明
源集群
停止所有数据变更操作
包括写入、删除和更新操作,确保集群处于只读状态,防止数据变动导致迁移过程中出现不一致。
目标集群
暂停所有数据操作
包括查询、写入、删除和更新操作,保持不可用状态,避免与迁移数据冲突。
版本兼容性
要求
规范
源集群版本
必须高于 2.3.6(即 ≥ v2.3.7)
目标集群版本
必须不低于源集群版本
迁移任务限制
任务管理
并发限制:同一时间仅能执行1个迁移任务。
数据范围
数据库限制:每个迁移任务仅支持同一数据库下的Collection。
Collection数量:最多包含5个Collection。
数据总量:所有Collection的总实体数量不超过5亿。
数据状态
源数据要求:待迁移的Collection必须处于已加载状态(load状态)。
目标实例要求:必须是空实例(无任何现有实体数据)。
网络要求
两个Milvus在相同的地域:通过内网地址连接实例,无需配置白名单、安全组等操作,且数据传输更快。
两个Milvus在不同的地域:通过公网地址连接实例,需要将目标实例所在区域的公网IP地址段添加到源实例的公网白名单。
目标实例所在地域
IP地址段(CIDR)
华北 2(北京)
39.105.32.0/24华南 1(深圳)
120.77.174.0/24华东 2(上海)
47.117.185.0/24中国(香港)
8.217.170.0/24华东1(杭州)
115.29.196.0/24乌兰察布
121.89.83.0/24新加坡(亚太东南)
45.113.192.0/24德国(法兰克福)
47.245.133.0/24
迁移步骤
登录阿里云Milvus控制台,单击数据迁移,单击Milvus(通过EndPoint迁移)。

配置源集群连接信息并选择目标集群,然后单击下一步。
源集群 Endpoint:http://Milvus集群的内网地址。

用户名和密码:Milvus实例的用户名和密码。

选择待迁移的Database并将其添加到目标Database中,然后单击下一步。

检查并配置字段映射,然后单击确认启动迁移任务。

监控与验证
在控制台查看迁移进度、错误日志


迁移完成后,建议校验目标集合的数据量与召回一致性。

