您可以通过Logstash、reindex和OSS等多种方式完成阿里云Elasticsearch间数据迁移、自建Elasticsearch数据迁移至阿里云和第三方Elasticsearch迁移至阿里云。本文介绍各迁移场景对应的迁移方案、适用场景和使用限制,帮助您根据业务选择合适的方案进行迁移。

注意
  • 2020年10月,阿里云Elasticsearch对网络架构进行了调整。2020年10月之前为旧网络架构,2020年10月及之后为新网络架构。新网络架构下的实例不支持与旧网络架构下的实例进行跨集群reindex、跨集群搜索、跨集群复制等实例互通操作。如果需要进行互通,需要确保实例创建在同一网络架构下。对于华北3(张家口)和海外地域,由于网络架构调整时间不确定,因此需要提交工单,联系阿里云Elasticsearch技术支持,校验网络架构是否可以使用。
  • 建议不要迁移以.开头的系统索引,例如.monitoring、.kibana、.security等,否则可能导致Kibana出现故障。

迁移场景:阿里云Elasticsearch实例间数据迁移

迁移方案 适用场景 使用限制 相关文档
OSS快照
  • 源端数据量较大(GB、TB、PB级别)的场景。
  • 同账号下,同地域或跨地域快照数据迁移的场景。
    注意 对于同账号跨地域的数据迁移场景,可以通过快照备份与恢复命令实现。
  • 需要先关闭源端待迁移的索引。
  • 跨集群OSS仓库设置功能,对源端和目标端实例有以下限制:
    • 相同地域。
    • 归属于相同账号。
    • 源端实例的版本低于或等于目标端实例的版本。
Logstash
  • 迁移全量或同步增量数据,对实时性要求不高的场景。
    注意
    • 如果需要同步增量数据,需确保源端数据的ID和目标端ID一致,并且需配置schedule定时任务。
    • 对于跨账号、跨地域的数据迁移场景,由于Elasticsearch和Logstash不在同一专有网络下,需要配置Logstash的NAT公网数据传输,具体实现方案可参见腾讯云Elasticsearch数据迁移至阿里云
  • 仅对查询结果进行迁移的场景。
  • 需对待迁移数据进行过滤的场景。
  • 版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x。版本兼容性说明请参见产品兼容性
  • 源Elasticsearch、Logstash和目标Elasticsearch实例在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,详细信息请参见配置NAT公网数据传输
  • 源Elasticsearch、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性
reindex
  • 源端数据量较小,且对迁移速度要求不高的场景。
  • 仅对查询结果(使用查询语句在Kibana中查询出来的结果)进行迁移的场景。
两个Elasticsearch集群在同一网络架构下,详细信息请参见注意事项 通过reindex迁移数据

迁移场景:自建Elasticsearch迁移至阿里云

迁移方案 适用场景 使用限制 相关文档
OSS快照
  • 源端数据量较大(GB、TB、PB级别)的场景。
  • 同账号下,同地域或跨地域快照数据迁移的场景。
  • 需要获取与源Elasticsearch版本一致的elasticsearch-repository-oss插件。
  • 需要先关闭源端待迁移的索引。
通过OSS将自建Elasticsearch数据迁移至阿里云
Logstash
  • 迁移数据时,对实时性要求不高的场景。
    注意 如果需要同步增量数据,需确保源端数据的ID和目标端ID一致,并且需配置schedule定时任务。
  • 仅对查询结果进行迁移的场景。
  • 需对待迁移数据进行过滤的场景。
  • 版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x。版本兼容性说明请参见产品兼容性
  • 源Elasticsearch、Logstash和目标Elasticsearch实例在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,详细信息请参见配置NAT公网数据传输
  • 源Elasticsearch、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性
reindex
  • 源端数据量较小,且对迁移速度要求不高的场景。
  • 仅对查询结果(使用查询语句在Kibana中查询出来的结果)进行迁移的场景。
两个Elasticsearch集群在同一网络架构下,详细信息请参见注意事项 通过reindex将自建Elasticsearch数据迁移至阿里云

迁移场景:第三方Elasticsearch迁移至阿里云

迁移方案 适用场景 使用限制 相关文档
Logstash
  • 迁移全量数据的场景。
  • 迁移满足某些查询需求的场景。
  • 跨账号、跨地域的阿里云Elasticsearch间数据迁移的场景。
  • Logstash需要配置NAT网关实现与公网连通,详细信息请参见配置NAT公网数据传输
  • 源Elasticsearch、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性
腾讯云Elasticsearch数据迁移至阿里云
OSS快照 源端数据量较大(GB、TB、PB级别)的场景。 需要先关闭源端待迁移的索引。 AWS Elasticsearch数据迁移至阿里云