当您需要将本地Elasticsearch集群中的索引数据迁移到一个远程集群中,或者将一个远程集群中的索引数据迁移到本地集群,可通过跨集群复制CCR(Cross Cluster Replication)功能实现。本文介绍具体的实现方法。

背景信息

CCR是开源Elasticsearch在platinum版本中发布的一个商业特性购买阿里云Elasticsearch实例后,您无需额外付费,只需要简单配置,即可使用CCR功能(目前仅支持单可用区6.7.0及以上版本的阿里云Elasticsearch实例)。CCR的应用场景如下:
  • 灾难恢复及高可用性

    对于分布在不同地域的Elasticsearch集群,您可以通过CCR进行数据备份。当其中一个集群发生故障时,您可以通过访问其他集群来获取故障集群的数据,保证数据不丢失。

  • 就近访问数据

    例如A集团下有多个子公司,各子公司所分布的地域不同。为了提高业务处理速度,可按照地理位置划分子公司要承担的业务,并通过CCR将业务数据分发给各地域中的Elasticsearch集群。子公司在处理业务时,可直接访问当前所在地域的集群。

  • 集中报告

    通过CCR,将多个数据量较小的集群中的数据复制到一个中央集群中,进行可视化分析与报告。

使用CCR功能,需要准备两种类型的集群。一个是远程集群,即提供源数据(Leader index)的集群;一个是本地集群,即订阅数据(Follower index)的集群。该功能为被动复制,即所有复制任务都是由本地集群执行。同时支持批量实时迁移数据,更多详情请参见Cross-cluster replication

操作流程

  1. 准备工作
    准备远程和本地集群,以及待迁移的索引。
  2. 步骤一:配置实例网络互通
    连通远程和本地集群的网络。
  3. 步骤二:添加远程集群
    在本地集群的Kibana控制台中,添加远程集群。
  4. 步骤三:配置跨集群复制
    在本地集群的Kibana控制台中,配置待迁移和迁移后的索引。
  5. 步骤四:验证数据迁移结果
    在远程集群中插入数据,在本地集群中,验证数据是否迁移成功。

准备工作

  1. 准备远程和本地Elasticsearch集群。
    具体操作步骤请参见创建阿里云Elasticsearch实例。要求两个实例为相同版本(6.7.0及以上),可用区类型为单可用区,且在同一专有网络和虚拟交换机下。
  2. 参见登录Kibana控制台,在远程集群中创建待迁移的索引。
    注意
    • 对于7.0及以下版本的Elasticsearch实例,在创建索引时,需要开启soft_deletes属性,否则会报错。
    • 如果您需要迁移已创建的索引,需要通过重建索引来开启soft_deletes属性。
    PUT myindex
    {
      "settings": {
        "index.soft_deletes.retention.operations": 1024,
        "index.soft_deletes.enabled": true
      }
    }
  3. 关闭待迁移的索引的物理复制功能。
    对于6.7.0版本的阿里云Elasticsearch实例,系统会默认为新建索引开启物理复制功能。使用CCR功能时,需要先关闭物理复制功能。
    1. 关闭索引。
      POST myindex/_close
    2. 更新索引settings,关闭物理复制功能。
      POST myindex/_settings
      {
      "index.replication.type" : null
      }
    3. 打开索引。
      POST myindex/_open

步骤一:配置实例网络互通

参见配置实例网络互通,在远程集群中添加需要进行网络互通的本地集群。最终配置如下。配置实例互通

步骤二:添加远程集群

  1. 登录本地集群的Kibana控制台。
    具体操作步骤请参见登录Kibana控制台
  2. 在左侧导航栏,单击Management
  3. Elasticsearch区域中,单击Remote Clusters
  4. 单击Add a remote cluster
  5. Add remote cluster页面中,输入远程集群信息。
    Add remote cluster
    • Name:远程集群的名称,不可重复。
    • Seed nodes:需要配置为远程集群的节点的IP地址:9300。远程集群的节点的IP地址,可在远程集群的Kibana控制台中,使用GET /_cat/nodes?v命令获取。所配置的节点中必须包含主节点,建议您配置多个子节点,确保当主节点不可用时,可以继续使用跨集群复制功能。获取主节点IP地址
      注意 由于CCR功能是Kibana通过数据节点之间的TCP端口(9300),访问数据节点IP的形式来进行网络互通,因此不支持HTTP端口(9200)访问。
  6. 单击Save
    保存后,系统会自动连接远程集群。连接成功后,显示Connected连接成功

步骤三:配置跨集群复制

  1. 在本地集群Kibana控制台的Management页面,单击Elasticsearch区域中的Cross Cluster Replication
  2. 单击Create a follower index
  3. Add follower index页面,配置跨集群复制信息。
    配置跨集群复制
    参数 说明
    Remote cluster 选择您在步骤二:添加远程集群中添加的集群。
    Leader index 待迁移的索引。本文使用在准备工作中创建的myindex索引。
    Follower index 迁移数据生成的索引。索引名称不可重复。
  4. 单击Create
    创建成功后,索引的状态显示为Active索引状态

步骤四:验证数据迁移结果

  1. 参见登录Kibana控制台,在远程集群中插入数据。
    POST myindex/_doc/
    {
      "name":"Jack",
      "age":40
    }
  2. 在本地集群中,验证数据是否迁移成功。
    GET myindex_follow/_search
    迁移成功后,返回如下结果。数据同步结果
    从以上结果可以看到,远程集群的Leader索引(myindex)中的数据,已通过CCR功能复制到了本地集群的Follower索引(myindex_follow)中。
    注意 Follower索引为只读状态,如果需要和普通索引一样写入数据,需要先转换成普通索引,详情请参见使用Elasticsearch跨集群复制进行跨数据中心复制
  3. 在远程集群中,重新插入一条数据,随即在本地集群中进行查看,验证增量数据是否实时同步。
    POST myindex/_doc/
    {
      "name":"Pony",
      "age":50
    }
    数据插入后,立即在本地集群中进行查看,结果如下。验证数据同步的实时性
    从以上结果可以看到,通过CCR可以实现增量数据的实时同步。
    说明 您也可以通过CCR功能的API,进行跨集群复制相关操作,详情请参见Cross-cluster replication APIs

常见问题

Q:为什么在添加远程集群时,可以使用9300端口。但是通过域名访问Elasticsearch集群时,只能使用9200端口?

A:9300端口实际上是开放的。因为涉及到产品的安全策略,在SLB端口校验过程中,外网访问Elasticsearch域名的时候,只开放了9200端口。后续阿里云Elasticsearch产品会在这方面进行调整,敬请期待。