通过CCR跨集群复制解决跨集群容灾场景

步骤一：连接Leader集群

1. 登录Follower集群的Kibana控制台。具体操作，请参见登录Kibana控制台。

2. 在页面左上角单击图标，选择Management > Stack Management。

3. 在管理（Management）页面的左侧导航栏，单击远程集群（Remote Clusters）。

4. 单击添加远程集群（Add a remote cluster）。

5. 在添加远程集群页面中，输入Leader集群信息。

   • 名称（Name）：Leader集群的名称，不可重复。

   • 连接模式（Connection mode）：打开使用代理模式（Use proxy mode）开关。

   • 代理地址（Proxy address）：代理服务器地址，格式为终端节点域名:9300，终端节点域名即PrivateLink终端节点服务下的终端节点ID的域名。

     说明

     由于CCR功能是Kibana通过数据节点之间的TCP端口（9300）访问数据节点IP的形式来进行网络互通，因此不支持HTTP端口（9200）访问。

6. 单击保存。

   保存后，系统会自动连接Leader集群。连接成功后，连接状态显示连接（Connected）。

API示例

PUT /_cluster/settings 
{
	"persistent": {
		"cluster": {
			"remote": {
				"<remote_cluster>": {
					"mode": "PROXY",
					"proxy_address": "终端节点域名:9300"
				}
			}
		}
	}
}

步骤二：配置跨集群复制

1. 在Follower集群Kibana控制台的管理（Management）页面，在左侧导航栏单击跨集群复制（Cross-Cluster Replication）。

2. 单击创建Follower索引（Create a follower index）。

3. 配置跨集群复制。

   参数	说明
   Remote cluster	选择您已连接的远程集群。
   Leader index	待迁移的索引。
   Follower index	迁移数据生成的索引。索引名称不可重复。

4. 单击创建（Create）。

   创建成功后，索引状态显示为Active。

API示例：

创建Follower集群索引时，必须引用Leader集群以及在Leader集群中创建的领导者索引。

PUT /leader-old-copy/_ccr/follow
{
  "remote_cluster": "es-leader",
  "leader_index": "leader-old"
}

步骤三：验证数据备份结果

1. 在Leader集群的Kibana控制台，执行如下命令，在Leader集群的索引中插入数据。

   POST leader-new/_doc/
   {
     "name":"Jack",
     "age":40
   }

2. 在Follower集群的Kibana控制台，执行如下命令，验证数据是否迁移成功。

   GET leader-new-copy/_search

   返回结果如下，Leader集群的Leader索引（leader-new）中的数据，已通过CCR功能复制到了Follower集群的Follower索引（leader-new-copy）中。

3. 在Leader集群中，重新插入一条数据，验证增量数据是否实时同步。

   POST leader-new/_doc/
   {
     "name":"Pony",
     "age":50
   }

4. 数据插入后，在Follower集群中执行如下命令。

   GET leader-new-copy/_search

   从查询结果可以看到，通过CCR可以实现增量数据的实时同步。

步骤一：连接Leader集群

1. 登录Follower集群的Kibana控制台。具体操作，请参见登录Kibana控制台。

2. 在页面左上角单击图标，选择Management > Stack Management。

3. 在管理（Management）页面的左侧导航栏，单击远程集群（Remote Clusters）。

4. 单击添加远程集群（Add a remote cluster）。

5. 在添加远程集群页面中，输入Leader集群信息。

   • 名称（Name）：Leader集群的名称，不可重复。

   • 连接模式（Connection mode）：打开使用代理模式（Use proxy mode）开关。

   • 代理地址（Proxy address）：代理服务器地址，格式为终端节点域名:9300，终端节点域名即PrivateLink终端节点服务下的终端节点ID的域名。

     说明

     由于CCR功能是Kibana通过数据节点之间的TCP端口（9300）访问数据节点IP的形式来进行网络互通，因此不支持HTTP端口（9200）访问。

6. 单击保存。

   保存后，系统会自动连接Leader集群。连接成功后，连接状态显示连接（Connected）。

API示例

PUT /_cluster/settings 
{
	"persistent": {
		"cluster": {
			"remote": {
				"<remote_cluster>": {
					"mode": "PROXY",
					"proxy_address": "终端节点域名:9300"
				}
			}
		}
	}
}

步骤二：配置跨集群复制

1. 在Follower集群Kibana控制台的管理（Management）页面，在左侧导航栏单击跨集群复制（Cross-Cluster Replication）。

2. 单击自动跟随模式（Auto-follow patterns）页签。

3. 单击创建自动跟随模式（Create auto-follow pattern）。

   配置跨集群复制。

   参数	说明
   Remote cluster	选择您已连接的远程集群。
   Index patterns	远程集群中待迁移的索引模式。

API示例

PUT /_ccr/auto_follow/beats 
{
	"remote_cluster": "es-leader",
	"leader_index_patterns": 
	[
		"leader-*"
	],
	"follow_index_pattern": "{{leader_index}}-copy"
}

步骤三：验证数据备份结果

1. 在Leader集群的Kibana控制台，执行以下命令，在Leader集群中添加索引。

   PUT /leader-new
   {
     "settings": {
       "number_of_shards": 1,
       "number_of_replicas": 0
     },
     "mappings": {
       "properties": {
         "name": {
           "type": "text"
         },
         "age": {
           "type": "integer"
         }
       }
     }
   }

2. 在Follower集群的Kibana控制台，执行如下命令，验证新索引是否成功迁移到Follower集群中。

   get _cat/indices?v

   

准备工作

1. 准备两个相同版本（6.7及以上）的阿里云ES实例，且两个ES实例在同一专有网络和虚拟交换机下。

   说明

   • 两个ES实例分别作为：

     • 远程集群Leader Cluster：原始数据所在的集群。

     • 本地集群Follower Cluster：从Leade集群中的一个或多个索引复制数据。

   • 如果远程集群上已经上传了同义词文件，本地集群中也需要上传一致的同义词文件。

2. 在远程集群中添加需要进行网络互通的本地集群。具体操作，请参见通过配置实例网络互通使用跨集群搜索功能。

3. 在Leader集群中创建待迁移的索引。

   1. 登录Leader集群的Kibana控制台。具体操作，请参见登录Kibana控制台。

   2. 在页面左上角单击图标，选择Management > 开发工具（Dev Tools）。

   3. 执行以下命令，在Leader集群中创建待迁移的索引。

      PUT myindex
      {
        "settings": {
          "index.soft_deletes.retention.operations": 1024,
          "index.soft_deletes.enabled": true
        }
      }

      说明

      • 对于7.0及以下版本的Elasticsearch实例，在创建索引时，需要开启soft_deletes属性，否则会报错。您可以通过GET /<yourIndexName>/_settings?pretty命令，查看是否开启了soft_deletes属性。开启时，您可以在返回结果中看到soft_deletes属性的配置。

      • 如果您需要迁移已创建的索引，需要通过重建索引来开启soft_deletes属性。

4. 关闭待迁移的索引的物理复制功能。

   说明

   对于6.7.0版本的阿里云Elasticsearch实例，系统会默认为新建索引开启物理复制功能。使用CCR功能时，需要先关闭物理复制功能。

   1. 关闭索引。

      POST myindex/_close

   2. 更新索引settings，关闭物理复制功能。

      PUT myindex/_settings
      {
      "index.replication.type" : null
      }

   3. 打开索引。

      POST myindex/_open

步骤一：连接远程集群

1. 登录本地集群的Kibana控制台。具体操作，请参见登录Kibana控制台。

2. 在页面左上角单击图标，选择Management > Stack Management。

3. 在管理（Management）页面的左侧导航栏，单击远程集群（Remote Clusters）。

4. 单击添加远程集群（Add a remote cluster）。

5. 在添加远程集群页面中，输入Leader集群信息。

   • 名称（Name）：远程集群的名称，不可重复。

   • 代理地址（Proxy address）：需要配置为远程集群的节点的IP地址:9300。远程集群的节点的IP地址，可在远程集群的Kibana控制台中，使用GET /_cat/nodes?v命令获取。所配置的节点中必须包含主节点，建议您配置多个子节点，确保当主节点不可用时，可以继续使用跨集群复制功能。

     说明

     由于CCR功能是Kibana通过数据节点之间的TCP端口（9300）访问数据节点IP的形式来进行网络互通，因此不支持HTTP端口（9200）访问。

6. 单击保存。

   保存后，系统会自动连接远程集群。连接成功后，连接状态显示连接（Connected）。

步骤二：配置跨集群复制

1. 在本地集群Kibana控制台的Management页面，在左侧导航栏单击跨集群复制（Cross-Cluster Replication）。

2. 单击创建Follower索引（Create a follower index）。

3. 配置跨集群复制。

   参数	说明
   Remote cluster	选择您已连接的远程集群。
   Leader index	待迁移的索引。本文使用准备工作中创建的myindex索引。
   Follower index	迁移数据生成的索引。索引名称不可重复。

4. 单击创建（Create）。

   创建成功后，索引状态显示为Active。

步骤三：验证数据备份结果

1. 在远程集群的Kibana控制台，执行如下命令，在远程集群中插入数据。

   POST myindex/_doc/
   {
     "name":"Jack",
     "age":40
   }

2. 在本地集群的Kibana控制台，执行如下命令，验证数据是否迁移成功。

   GET myindex_follow/_search

   返回结果如下。远程集群的Leader索引（myindex）中的数据，已通过CCR功能复制到了本地集群的Follower索引（myindex_follow）中。

   说明

   Follower索引为只读状态，如果需要和普通索引一样写入数据，需要先转换成普通索引。详细信息，请参见使用Elasticsearch跨集群复制进行跨数据中心复制。

3. 在远程集群中，重新插入一条数据，验证增量数据是否实时同步。

   POST myindex/_doc/
   {
     "name":"Pony",
     "age":50
   }

4. 数据插入后，在本地集群中进行查看，结果如下。

   从以上结果可以看到，通过CCR可以实现增量数据的实时同步。

   说明

   您也可以通过CCR功能的API，进行跨集群复制相关操作。详细信息，请参见Cross-cluster replication APIs。