在Elasticsearch集群中创建索引时，如果您无法评估实际数据量，可能导致设置的主分数很大，但实际业务的数据量并不多，此时您需要减少主分片数，防止因主分片数太多导致集群资源消耗过大或影响查询写入速率等。本文为您介绍如何通过_shrink API快速减少主分片数。

背景信息

使用Elasticsearch需要密切关注集群分片总数及索引分片数设置。集群分片总数越多，对应分片会占用大量的文件句柄耗用大量的集群资源。同样，索引分片数设置不合理，会对查询和写入均造成潜在的影响。

在创建索引时，如果您无法评估实际数据量，可能导致设置的索引主分数很大，但实际业务数据量并不多。通过reindex减少主分片数耗时太久，elastic提供了_shrink API可快速减少索引主分片数。shrink操作不会在原索引上直接缩小分片，基本流程如下：
  1. 创建一个和原索引配置相同的新索引，新索引主分片比原索引少，所有分片需汇集在一个节点，该节点预留的磁盘空间需要大于原索引主分片上的数据大小。
  2. 从原索引到新索引创建segments硬链接。
  3. 对新索引执行恢复操作，类似关闭的索引执行打开操作。
reindex与_shrink API的性能测试信息如下：
  • 测试环境：
    • 数据节点：数量为5个，规格为8核16 GB。
    • 索引数据：数据量为182 GB。
    • 分片数：原主分片数为30，目标分片数为5，副本数为0。
  • 测试结果
    方式 耗时 资源占用
    reindex 3小时22分钟 集群中有大量的写QPS，索引所占节点资源高。
    _shrink API 15分钟 shrink节点计算资源较高。

前提条件

  • Elasticsearch集群状态健康，且负载处于正常水位。
  • 根据集群数据节点个数、集群磁盘容量等因素，合理评估索引可减少的分片数。详细信息请参见Shard评估。
  • 原索引必须处于green状态。
  • 原索引的文档总数不能超过2,147,483,519。
  • Elasticsearch集群中没有新索引的同名索引。

操作步骤

  1. 登录目标阿里云Elasticsearch实例的Kibana控制台，根据页面提示进入Kibana主页。
    登录Kibana控制台的具体操作，请参见登录Kibana控制台。
    说明 本文以阿里云Elasticsearch 7.10.0版本为例，其他版本操作可能略有差别，请以实际界面为准。
  2. 单击右上角的Dev tools。
  3. 在Console中，执行如下命令，将原索引设置为禁止写状态，副本置为0，且将分片汇集到集群中的一个节点上。
    以下示例以原索引shrink5为例，使用时需要替换为您的业务索引名。
    PUT shrink5/_settings
{
    "index.routing.allocation.require._name": "es-cn-zvp25yhyy000y****-1ab7****-0001",
    "index.blocks.write": true,
    "index.number_of_replicas": 0
}
    参数 说明
    index.routing.allocation.require._name 设置分片汇集的目标节点name。节点name可通过GET _cat/nodes?v命令获取。
    说明 在通过_shrink API减少主分片数之前，原索引的每个分片必须汇集到集群中的一个节点上。
    index.blocks.write 是否禁用对索引的写操作，必须为true，即禁止写操作。
    说明 在通过_shrink API减少主分片数之前，必须设置原索引为禁止写状态。
    index.number_of_replicas 索引的副本分片数。
  4. 通过_shrink API减少主分片数。
    以下示例以将原索引shrink5的主分片数从30减少到5，并生成新索引shrink_hk5e_cn。使用时请替换索引名。
    POST shrink5/_shrink/shrink_hk5e_cn
{
  "settings": {
    "index.blocks.write": null,
    "index.number_of_shards": 5,
    "index.number_of_replicas": 0,
    "index.routing.allocation.require._name": null
  }
}
    参数 说明
    index.blocks.write 是否禁用对索引的写操作。在通过_shrink API减少主分片数后，需要将新索引的index.blocks.write置为null，即清除从原索引复制的配置。
    index.number_of_shards 新索引的主分片数。
    注意
    • 触发shrink后，shrink_node节点CPU使用率和load_1m将比较高，建议在业务低峰期操作。
    • 原索引的主分片数一定要大于新索引，新索引的主分片数必须可被原索引的主分片数整除。例如，原索引的主分片数为8，则可以减少到4、2、1；原索引的主分片数为15，则可以减少到5、3、1。如果原索引的主分片数是质数，则只能减少到1。
    index.number_of_replicas 新索引的副本分片数。
    index.routing.allocation.require._name 设置将分片汇集的目标节点。在通过_shrink API减少主分片数后，需要将新索引的index.routing.allocation.require._name置为null清除从原索引复制的配置，或者删除原索引。
  5. 查看结果。
    通过_cat recovery API查看shrink进度，当无shrink相关的recovey，且集群状态健康，则shrink完成。
    • 查看shrink进度
      GET _cat/recovery?v&active_only

      当返回结果的index列没有待shrink的索引时，说明无shrink相关的recovey。

    • 查看集群健康状态
      GET _cluster/health

      当返回结果中包含"status" : "green"时，说明集群状态健康。

常见问题

Q：为什么要使用硬链接，而不使用软链接？

A：通过软链接创建索引，待数据写入，将原索引删除后，目标索引数据也会被删除，而硬链接会保证索引的独立性。