本文介绍基于reindex将阿里云Elasticsearch 5.x实例中的多type数据,迁移到高版本Elasticsearch 6.x实例的单type索引中。
注意事项
自2020年10月起,由于网络架构的调整,导致部分跨集群通过reindex方式迁移数据的场景受到了限制。在不同的使用场景下需要注意以下功能限制以及解决方案。详情请参见下表:
使用场景 | 网络状态(2020年10月之前属于老网络架构,2020年10月及之后属于新网络架构) | 是否支持reindex功能 | 解决方案 |
---|---|---|---|
通过reindex方式迁移阿里云Elasticsearch集群间的数据 | 两个Elasticsearch集群均创建于老网络架构下 | 是 | 请参见通过reindex迁移数据。 |
两个Elasticsearch集群均创建于新网络架构下 | 否 | 无 | |
两个Elasticsearch集群分别创建于老网络架构下和新网络架构下 | 否 | 无 | |
将ECS上自建的Elasticsearch集群中的数据迁移至阿里云Elasticsearch集群中 | 阿里云Elasticsearch集群创建于老网络架构下 | 是 | 请参见通过reindex将自建Elasticsearch数据迁移至阿里云。 |
阿里云Elasticsearch集群创建于新网络架构下 | 是 | 借助PrivateLink对ECS上自建的Elasticsearch集群所处的网络与阿里云服务账号的网络进行打通,再使用终端节点域名进行reindex。详情请参见通过实例私网打通将自建Elasticsearch数据迁移至阿里云。
说明 PrivateLink仅支持部分地域私网连接,详情请参见支持私网连接的地域和可用区。如果您的集群可用区不满足此条件,暂不支持reindex功能。
|
说明
- 新网络架构下(即阿里云Elasticsearch部署在阿里云服务VPC下),不支持阿里云Elasticsearch访问其他网络环境下的资源;老网络架构下(即阿里云Elasticsearch部署在用户VPC下)不受影响。
- 阿里云Elasticsearch在华北3(张家口)、海外地域的网络架构调整时间在2020年10月之前,如果需要使用跨集群操作,请提交工单联系技术支持人员校验网络架构是否可以使用。
- 其他区域,暂以2020年10月为临界点评估集群所处的网络架构,即2020年10月以前创建的实例所处环境为老网络架构,2020年10月之后创建为新网络架构。
- 为保证数据迁移前后一致,建议业务上游停止自建Elasticsearch集群数据写入更新操作,读操作才可以正常进行。迁移完毕后,直接切换到阿里云Elasticsearch集群进行读写操作。如果不停止写操作,建议通过脚本设置循环任务减少停写服务时间,具体请参见迁移数据中的“数据量大、无删除操作、有更新时间”。
- 当使用域名访问自建Elasticsearch或阿里云Elasticsearch集群时,不允许通过
http://host:port/path
这种带path
的形式访问。
操作流程
准备工作
步骤一:转换索引类型
以下步骤介绍通过合并type方式,将单索引多type数据合并成一个单索引单type数据。
以下步骤介绍通过拆分type方式,将单索引多type数据,按照不同的type,通过reindex拆分成多个单索引单type数据。