通过OSS将自建Elasticsearch数据迁移至阿里云

操作流程

1. 步骤一：环境准备

   部署自建Elasticsearch集群、创建OSS Bucket、创建阿里云Elasticsearch集群。

2. 步骤二：安装elasticsearch-repository-oss插件

   在自建Elasticsearch集群各节点中安装elasticsearch-repository-oss插件，插件安装后才可在自建Elasticsearch中创建OSS仓库。

3. 步骤三：在自建Elasticsearch集群中创建仓库

   使用snapshot API在自建Elasticsearch集群中创建快照备份仓库。

4. 步骤四：为指定索引创建快照

   为需要迁移的索引创建快照，并将快照备份到已创建的仓库中。

5. 步骤五：在阿里云Elasticsearch上创建相同仓库

   在阿里云Elasticsearch的Kibana控制台中，使用snapshot API创建一个与自建Elasticsearch集群相同的快照备份仓库。

6. 步骤六：在阿里云Elasticsearch上恢复快照

   将仓库中已备份的自建Elasticsearch集群的快照恢复到阿里云Elasticsearch集群中，完成数据迁移。

7. 步骤七：查看快照恢复结果

   快照恢复后，查看恢复的索引和索引数据。

步骤一：环境准备

1. 准备自建Elasticsearch集群。

   如果您还没有自建Elasticsearch集群，建议您使用阿里云ECS进行搭建，具体操作步骤请参见安装并运行Elasticsearch。

   说明

   建议您使用同VPC下的阿里云ECS搭建自建Elasticsearch集群，通过自建服务器搭建集群可能存在网络不通的问题。

   本文以单节点集群为例进行演示，版本为6.7.0。实际生产中您可以购买多个相同专有网络VPC（Virtual Private Cloud）的ECS实例搭建多节点Elasticsearch集群，购买ECS的具体步骤请参见自定义购买实例。

2. 开通OSS服务，并创建与部署自建Elasticsearch集群的ECS实例相同地域的Bucket。

   具体操作步骤请参见开通OSS服务和创建存储空间。

   重要

   请创建标准存储类型的OSS Bucket，不支持归档存储类型。

3. 创建目标阿里云Elasticsearch实例，所选地域与您创建的Bucket相同。

   具体操作步骤请参见创建阿里云Elasticsearch实例。

步骤二：安装elasticsearch-repository-oss插件

1. 连接自建Elasticsearch集群所在的ECS。

   具体操作请参见通过密码或密钥认证登录Linux实例。

   说明

   本文档以普通用户权限为例。

2. 下载elasticsearch-repository-oss插件。

   本文使用6.7.0版本的插件，要求JDK为11.0及以上版本。

   wget https://github.com/aliyun/elasticsearch-repository-oss/releases/download/v6.7.0/elasticsearch-repository-oss-6.7.0.zip

   说明

   如需获取其他版本的elasticsearch-repository-oss插件，可参见常见问题。

3. 将安装包解压到自建Elasticsearch各节点安装路径的plugins目录下。

   sudo unzip -d /usr/local/elasticsearch-6.7.0/plugins/elasticsearch-repository-oss elasticsearch-repository-oss-6.7.0.zip

   您也可以使用命令方式安装插件。

   sudo ./bin/elasticsearch-plugin install file:///usr/local/elasticsearch-repository-oss-6.7.0.zip

4. 启动自建Elasticsearch集群各节点。

   cd /usr/local/elasticsearch-6.7.0
   ./bin/elasticsearch -d

步骤三：在自建Elasticsearch集群中创建仓库

连接自建Elasticsearch集群所在的ECS，执行如下命令创建仓库。

sudo curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName> -d' {"type": "oss", "settings": { "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",  "access_key_id": "<yourAccesskeyId>",  "secret_access_key":"<yourAccesskeySecret>", "bucket": "<yourBucketName>", "compress": true }}'

创建成功后，预期返回"acknowledge":true。

步骤四：为指定索引创建快照

curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName>/snapshot_1?pretty -d'
{
"indices": "index1,index2"
}'

<yourBackupName>为您在步骤三：在自建Elasticsearch集群中创建仓库中创建的仓库名称；index1和index2为您需要备份的索引名称。快照创建成功后，预期返回"accepted" : true 。

快照创建过程中，您可以通过GET /_snapshot/<yourBackupName>/<yourSnapshotName>/_status命令查看指定快照的详细信息。当返回结果中的state为SUCCESS时，表示快照已完成。

步骤五：在阿里云Elasticsearch上创建相同仓库

1. 登录目标阿里云Elasticsearch实例的Kibana控制台，根据页面提示进入Kibana主页。
   登录Kibana控制台的具体操作，请参见登录Kibana控制台。

   说明 本文以阿里云Elasticsearch 6.7.0版本为例，其他版本操作可能略有差别，请以实际界面为准。
2. 在左侧导航栏，单击Dev Tools。

3. 在Console中执行以下命令，创建与自建Elasticsearch相同的仓库。

   PUT _snapshot/<yourBackupName>
   {
       "type": "oss",
       "settings": {
           "endpoint": "oss-cn-hangzhou-internal.aliyuncs.com",
           "access_key_id": "<yourAccesskeyId>",
           "secret_access_key": "<yourAccesskeySecret>",
           "bucket": "<yourBucketName>",
           "compress": true
       }
   }

   <yourBackupName>和<yourBucketName>需要与步骤三：在自建Elasticsearch集群中创建仓库中保持一致。

步骤六：在阿里云Elasticsearch上恢复快照

POST _snapshot/es_backup/snapshot_1/_restore
{"indices":"*,-.monitoring*,-.security_audit*","ignore_unavailable":"true"}

命令执行成功，预期返回"accepted" : true。

POST _snapshot/es_backup/snapshot_1/_restore
{
  "indices":"index1",
  "rename_pattern": "index(.+)",
  "rename_replacement": "restored_index_$1"
}

步骤七：查看快照恢复结果

常见问题

Q：如何获取其他版本的elasticsearch-repository-oss插件？