通过elasticsearch-dump工具迁移数据

前提条件

• 已创建阿里云Elasticsearch实例，具体操作请参见创建阿里云Elasticsearch实例。

• 已开启目标端阿里云Elasticsearch实例的自动创建索引功能，或提前创建对应索引。开启自动创建索引功能的具体操作，请参见配置YML参数。

• 已创建ECS服务器，该ECS用来安装elasticsearch-dump工具。具体操作，请参见自定义购买实例。

适用场景

elasticsearch-dump工具适用于数据量较小，索引数量不多的迁移场景。

安装elasticsearch-dump工具

1. 连接ECS服务器。

   具体操作请参见使用Workbench登录Linux实例。

2. 安装node.js。

   1. 下载安装包。

      wget https://nodejs.org/dist/v16.18.0/node-v16.18.0-linux-x64.tar.xz

   2. 解压。

      tar -xf node-v16.18.0-linux-x64.tar.xz

   3. 设置环境变量。

      • 临时生效

        export PATH=$PATH:/root/node-v16.18.0-linux-x64/bin/

      • 永久生效

        vim ~/.bash_profile
        export PATH=$PATH:/root/node-v16.18.0-linux-x64/bin/
        source ~/.bash_profile

3. 安装elasticsearch-dump。

   npm install elasticdump -g

使用示例

迁移数据到阿里云实例

• 迁移指定索引的settings

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=http://"<OtherName>:<OtherPassword>"@<OtherEsHost>/<OtherEsIndex> --type=settings

• 迁移指定索引的mapping

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=http://"<OtherName>:<OtherPassword>"@<OtherEsHost>/<OtherEsIndex> --type=mapping

• 迁移指定索引的data

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=http://"<OtherName>:<OtherPassword>"@<OtherEsHost>/<OtherEsIndex> --type=data

迁移数据到本地

• 迁移指定索引的settings

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=<YourLocalFile> --type=settings

• 迁移指定索引的mapping

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=<YourLocalFile> --type=mapping

• 迁移指定索引的data

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=<YourLocalFile> --type=data

• 通过query迁移数据

  elasticdump --input=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --output=<YourLocalFile> ----searchBody="<YourQuery>"

恢复本地数据到阿里云实例

elasticdump --input=<YourLocalFile> --output=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --type=data

如果您有其他的数据迁移需求，请参见elasticsearch-dump官方文档。

常见问题

[root@i-xxx ~]# elasticdump --input=http://"xxx.public.elasticsearch.aliyuncs.com:9200/customers --output=/root/customers.json --type=settings
Tue, 04 Jul 2023 08:42:53 GMT | starting dump
(node:25448) NOTE: We are formalizing our plans to enter AWS SDK for JavaScript (v2) into maintenance mode in 2023.

Please migrate your code to use AWS SDK for JavaScript (v3).
For more information, check the migration guide at https://a.co/7PzMCcy
(Use `node --trace-warnings ...` to show where the warning was created)
Tue, 04 Jul 2023 08:43:13 GMT | Error Emitted => getaddrinfo ENOTFOUND elastic
Tue, 04 Jul 2023 08:43:13 GMT | Error Emitted => getaddrinfo ENOTFOUND elastic
Tue, 04 Jul 2023 08:43:13 GMT | Total Writes: 0
Tue, 04 Jul 2023 08:43:13 GMT | dump ended with error (get phase) => Error: getaddrinfo ENOTFOUND elastic