通过在线迁移工具将自建Elasticsearch数据迁移至阿里云

自建Elasticsearch侧

• 已基于ECS部署自建Elasticsearch集群。该集群作为进行迁移的源集群。

  说明

  ECS的安全组需添加特定网段白名单，允许指定网段通过9200和9300端口访问该ECS实例。

  • 9200端口：Elasticsearch的HTTP API端口，用于客户端（例如，浏览器、应用程序、Kibana等）与Elasticsearch集群进行交互。

  • 9300端口：Elasticsearch的TCP通信端口，用于集群内部节点之间进行通信。

• 自建Elasticsearch集群的索引已创建副本。

• 已准备解密的P12文件。P12文件用于存储公钥和私钥，并包含数字证书。后续数据迁移过程中，可通过P12文件确保节点之间能够正常通信。

• （可选）若自建Elasticsearch未鉴权，则需开启X-Pack Security（即配置xpack.security.enabled: true），保障迁移过程数据安全。

阿里云Elasticsearch侧

已创建阿里云Elasticsearch，该集群作为进行迁移的目标集群，用于接收自建Elasticsearch的迁移数据。为保障迁移过程顺畅，请确保创建的阿里云Elasticsearch：

• 基于云原生新管控（v3）模式部署。

• 与自建Elasticsearch所在的ECS同地域、同VPC网络。

• 与自建Elasticsearch版本建议保持一致。

  说明

  如需执行跨版本的数据迁移，请提交工单，联系阿里云Elasticsearch的技术支持人员。

• 实例规格及节点数的配置，不低于自建Elasticsearch的配置。

• 用户名及密码建议与自建Elasticsearch保持一致。

• 若自建Elasticsearch安装了自定义插件（例如，用于执行相似性搜索的插件elasticsearch-knn ），则需在阿里云Elasticsearch安装相同插件。插件相关操作，请参见插件配置。

• 需确保云上集群功能（例如，集群配置、词典等）符合业务预期、网络可达。

步骤一：创建迁移任务

1. 进入在线迁移入口。

   1. 登录阿里云Elasticsearch控制台。

   2. 在左侧导航栏单击Elastic Stack云原生Paas版本 > Elasticsearch在线迁移工具，进入在线迁移入口。

2. 单击创建，创建迁移任务并配置相关参数。

   

   参数	描述

   参数	描述
   类型	选择自建Elasticsearch迁移，用于将自建Elasticsearch的数据迁移至阿里云Elasticsearch中。
   目标集群	用于接收自建Elasticsearch数据的阿里云Elasticsearch实例。请按需选择与自建Elasticsearch所在ECS同地域的实例，选择后，需按照界面指引，输入实例的虚拟交换机ID。 说明 仅支持选择云原生新管控（v3）模式部署的实例，若没有合适实例，请按需创建阿里云Elasticsearch实例。 虚拟交换机用于进行网络隔离及访问控制，可通过查看实例的基本信息获取。
   自建ES VPC	自建Elasticsearch的VPC ID。
   自建ES ECS IP	自建Elasticsearch中，任意一个节点所在的ECS实例的IP地址。 说明 ECS的安全组需添加特定网段白名单，允许指定网段通过9200和9300端口访问该ECS实例。 9200端口：Elasticsearch的HTTP API端口，用于客户端（例如，浏览器、应用程序、Kibana等）与Elasticsearch集群进行交互。 9300端口：Elasticsearch的TCP通信端口，用于集群内部节点之间进行通信。
   自建ES P12文件	按照界面指引上传解密后的P12文件。P12文件用于存储公钥和私钥，并包含数字证书。后续数据迁移过程中，可通过P12文件确保节点之间能够正常通信。
   自建ES用户名	登录自建Elasticsearch的用户名。
   自建ES密码	登录自建Elasticsearch的密码。

3. 单击确定，完成任务创建。

步骤二：配置并执行迁移任务

在该步骤，您需按照界面指引配置迁移任务并完成数据迁移。

1. 迁移检查及配置融合。

   在源与目标集群设置页签，您需按照如下步骤完成迁移任务的可行性检查及融合配置。

   

   1. 可行性检查：执行迁移操作前，系统会自动检测源集群与目标集群的网络连通性、版本兼容性、资源充足性等，确保数据迁移操作安全可行。

      说明

      若可行性检查不通过，请按照界面提示修改相关配置。

   2. 配置融合：系统自动检测源集群的配置参数（例如，分片副本数、分片策略、用户权限配置等）并适配至目标集群，确保源集群与目标集群的配置参数、资源分配、分片策略等无缝同步，从而实现平滑迁移和高效运行。

      说明

      该步骤预计耗时20分钟左右，请耐心等待。

2. 进行数据迁移。

   在数据迁移页签，需按下图步骤，依次完成集群融合、副本迁移、主节点迁移及主分片迁移。

   操作项	描述	说明

   操作项	描述	说明
   集群融合	系统将源集群和目标集群合并为一个大集群，合并后，集群内的总节点数 = 源集群节点数 + 目标集群节点数。	集群融合后，目标集群的Kibana将被临时关闭。在数据迁移期间，您仍可使用源集群的Kibana，直至业务切换完成。
   副本迁移	系统将索引副本分片，从源集群节点迁移至目标集群节点。	若在迁移过程中出现非预期故障或对业务造成影响，可执行回滚操作。回滚完成后，当前迁移任务将无法继续执行，需重新创建迁移任务。
   主节点迁移	系统将融合后集群中的主节点，从源集群迁移至目标集群。	主节点迁移任务发起后立即变更，不支持任何场景的回滚，请谨慎操作。
   主分片迁移	系统将存储原始数据的主分片，从源集群节点迁移至目标集群节点。	主分片迁移启动后，不支持任何场景的回滚，请谨慎操作。

3. 进行业务切换及网络隔离。

   在该步骤，您会将当前业务切换至目标集群，同时，通过网络隔离，停止原有集群的服务提供。

   

   1. 业务切换。

      在业务切换页签，按照界面提示，基于您的业务应用，将当前业务中所有查询及写入请求，从源集群的域名切换至目标集群的域名，后续将使用目标集群提供相关服务。

   2. 网络隔离。

      业务切换完成后，您需发起网络隔离请求，禁止源集群的节点再加入至目标集群中，即后续将停止使用源集群提供服务。

      说明

      当界面出现下线自建集群节点时，请按照提示下线自建集群ECS节点或关闭ES进程（建议通过kill -15 <ES进程PID>方式下线），操作完成后，系统会继续执行网络隔离操作。该过程预计耗时20分钟，请耐心等待。

4. 完成迁移。

   网络隔离执行成功后，此次迁移任务完成。您可单击前往实例列表，查看实例详情。

步骤三：数据验证

数据迁移任务执行完成后，您可通过Kibana控制台访问目标阿里云Elasticsearch，执行相关查询或写入操作，验证集群是否符合预期。如有问题，请提交工单，联系阿里云Elasticsearch的技术支持人员。