当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时,可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。
使用限制
- 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络,不支持Classiclink方式打通的ECS。
- 由于阿里云Logstash实例部署在专有网络下,如果自建Elasticsearch集群与阿里云Logstash集群在同一专有网络下,可直接配置;如果不在,需要通过配置NAT网关实现与公网的连通,具体操作请参见配置NAT公网数据传输。
- 自建Elasticsearch集群所在的ECS的安全组不能限制Logstash集群的各节点IP(可在基本信息页面查看),并且需要开启9200端口。
- 本文以自建Elasticsearch 5.6.16 > 阿里云Logstash 6.7.0 > 阿里云Elasticsearch 6.7.0为例,提供的脚本仅适用于该数据迁移方案,其他方案不保证兼容。如果您使用的是其他方案,可参见产品兼容性判断是否存在兼容性问题。如果存在,可升级实例版本或新购实例。
操作流程
步骤一:环境准备
步骤二:配置并运行Logstash管道
步骤三:查看数据迁移结果
常见问题
- Q:自建Elasticsearch所在的ECS与阿里云Logstash不在同一账号下,迁移数据时,如何配置网络互通?
A:由于ECS和Logstash不在同一账号下,那么两者的专有网络必然不同,因此需要配置两个专有网络互通。可通过云企业网来实现,具体操作请参见步骤三:加载网络实例。
- Q:Logstash数据写入时出现问题,如何处理?
A:参见Logstash数据写入问题排查方案进行排查处理。