当您需要将自建Elasticsearch数据迁移至阿里云Elasticsearch时,可以使用OSS快照的方式进行迁移。即使用Elasticsearch的snapshot API,创建自建Elasticsearch数据的快照并存储到OSS中,然后从OSS将快照数据恢复到阿里云Elasticsearch中。本文介绍具体的实现方法。
背景信息

操作流程
步骤一:环境准备
步骤二:安装elasticsearch-repository-oss插件
步骤三:在自建Elasticsearch集群中创建仓库
连接自建Elasticsearch集群所在的ECS,执行如下命令创建仓库。
curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName> -d' {"type": "oss", "settings": { "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com", "access_key_id": "<yourAccesskeyId>", "secret_access_key":"<yourAccesskeySecret>", "bucket": "<yourBucketName>", "compress": true }}'
参数 | 说明 |
---|---|
<yourBackupName> | 仓库名称,可自定义。 |
type | 仓库类型,需要设置为oss。 |
endpoint | OSS Bucket的访问地址,可参见访问域名和数据中心获取。
说明 如果自建Elasticsearch所在ECS与您的OSS在同一地域,请使用内网地址,否则请使用外网地址。
|
access_key_id | 创建OSS Bucket的账号的AccessKey ID,获取方式请参见如何获取AccessKey。 |
secret_access_key | 创建OSS Bucket的账号的AccessKey Secret,获取方式请参见如何获取AccessKey。 |
bucket | 您创建的OSS Bucket名称。 |
compress | 是否压缩:
|
创建成功后,预期返回"acknowledge":true
。
步骤四:为指定索引创建快照
在自建Elasticsearch中创建一个快照,用来备份您需要迁移的索引数据。创建快照时,默认会备份所有打开的索引。如果您不想备份系统索引,例如以.kibana、.security、.monitoring等开头的索引,可在创建快照时指定需要备份的索引。
重要 建议您不要备份系统索引,因为系统索引会占用较大空间。
curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName>/snapshot_1?pretty -d'
{
"indices": "index1,index2"
}'
<yourBackupName>为您在步骤三:在自建Elasticsearch集群中创建仓库中创建的仓库名称;index1和index2为您需要备份的索引名称。快照创建成功后,预期返回"accepted" : true
。
快照创建过程中,您可以通过GET /_snapshot/<yourBackupName>/<yourSnapshotName>/_status
命令查看指定快照的详细信息。当返回结果中的state为SUCCESS时,表示快照已完成。
步骤五:在阿里云Elasticsearch上创建相同仓库
步骤六:在阿里云Elasticsearch上恢复快照
参见步骤五:在阿里云Elasticsearch上创建相同仓库,在Kibana控制台上执行以下命令,恢复快照中的所有索引(除过
.
开头的系统索引)。 POST _snapshot/es_backup/snapshot_1/_restore
{"indices":"*,-.monitoring*,-.security_audit*","ignore_unavailable":"true"}
命令执行成功,预期返回"accepted" : true
。
以上命令会恢复快照中的所有索引,您也可以选择需要恢复的索引。同时如果阿里云Elasticsearch集群中有同名索引,而您想在不替换现有数据的前提下恢复旧数据来验证内容,或者处理其他任务,可在恢复过程中重命名索引。
POST _snapshot/es_backup/snapshot_1/_restore
{
"indices":"index1",
"rename_pattern": "index(.+)",
"rename_replacement": "restored_index_$1"
}
说明 更多快照和恢复命令请参见手动备份与恢复。
步骤七:查看快照恢复结果
参见步骤五:在阿里云Elasticsearch上创建相同仓库,在Kibana控制台上执行以下命令,查看恢复结果:
- 查看恢复的索引
GET /_cat/indices?v
- 查看恢复的索引数据
GET /index1/_search
执行成功后,预期结果如下。{ "took" : 2, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 1.0, "hits" : [ { "_index" : "index1", "_type" : "_doc", "_id" : "1", "_score" : 1.0, "_source" : { "productName" : "testpro", "annual_rate" : "3.22%", "describe" : "testpro" } } ] } }
常见问题
Q:如何获取其他版本的elasticsearch-repository-oss插件?
A:可在Github上下载。如果Github上没有对应版本的插件包,建议您下载对应大版本的相近小版本的插件包,然后修改plugin-descriptor.properties文件中的参数值,重新打包再安装。
- version=所需插件的版本
- elasticsearch.version=自建Elasticsearch的版本
说明 插件版本与自建Elasticsearch版本要保证一致。
- java.version=1.8
说明
- 不同的Elasticsearch版本依赖的JDK版本不一样,以官方和插件要求为准。
- 由于开源Elasticsearch集群的版本较多,各版本编译存在差异,因此在使用elasticsearch-repository-oss插件时,需要您结合对应Elasticsearch的版本进行编译调试。例如自建Elasticsearch 7.6.2集群,要求JDK版本大于1.8及以上,编译调试后对应的插件为elasticsearch-repository-oss-7.6.2。