使用集群限流插件（aliyun-qos）

关闭限流方式

7.10最新版本

其他版本

将限流参数设置为false

PUT _cluster/settings
{
  "persistent": {
    "apack.qos.limiter.enabled": false
  }
}

PUT _cluster/settings
{
   "persistent" : {
      "apack.qos.ratelimit.enabled":"false"
   }
}

将限流参数设置为null

PUT _cluster/settings
{
  "persistent": {
    "apack.qos.limiter.enabled": null
  }
}

PUT _cluster/settings
{
   "persistent" : {
      "apack.qos.ratelimit.enabled":null
   }
}

参数

说明

可选值

action

限流的action，用于限制不同类型的请求。

• write：doc写入请求，包含index和create。

• update：doc更新请求。

• delete：doc删除请求

• search：查询请求。

• search_shards：查询索引的shard总数请求。

limiter_type

限流类型。支持三大类：

• 速率

• 并发度

• 单请求限制

• rate：速率，只支持整数。

• qps：查询速率，只支持整数。

• tps：写入速率，只支持整数。

• throughput：吞吐量，只支持action为write、update和delete。支持的单位包含GB、MB、KB等，最大支持2 GB。

• thread_count：请求并发度，一个请求为一个并发。

• concurrent_count：请求并发度，按照请求中的具体操作计算并发数。例如设置search_shards.concurrent_count:20，表示允许最大20个shard并发查询。

• max_per_request：单请求中包含的某类操作个数的上限。例如设置update.max_per_request:10，表示一个写入请求最多有10个update。

• max_size_per_request：单请求个数上限。只支持action为write、update和delete。

threshold

限流阈值。

int范围内的整数，>=-1。

tagName

tag名称。

• node：当前节点名。

• is_master：当前节点是否为master，对应的tag值为true或false。

• index：索引名。如果有多个索引名，则为数组。如果传入的是别名，此处也是解析的实际索引名。仅IndicesRequest的子类请求才有此tag。

• shard：shard名，即index[id]，例如test[0]。仅ReplicationRequest的子类请求才有此tag。

• index_in_url：URL中的index字符串，如果传入的是别名，则此处就是别名。仅IndicesRequest的子类请求才有此tag。

tagValue

tag的值。

字符串，可为数组。如果为数组，则对应tag匹配数组中任意一个value即可。支持精确匹配、模糊匹配和任意值，例如：

• 精确匹配："abc"

• 模糊匹配："ab*"

• 任意值："**"

  说明

  如果为任意值，则为默认限流器。即对这个tag的任意值都会生成一个精确的限流器，例如设置为index:"**",search.tps:1，表示默认情况下，限制每个索引的search速率为1，而不是总search速率为1。

priority

优先级。

int整数，默认为0。

params

高级参数。

watchMode：是否启用观察模式，支持true和false（默认）。如果为true，Elasticsearch只会在metric中记录拒绝数，但不会实际限流。您可以通过API查看指标监控信息，用于提前验证限流效果，避免由于配置错误造成错误的限流。API的详细信息，请参见常见问题。

操作

7.10最新版本

其他版本

设置单个索引的查询QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "twitter"
  }
}

PUT _qos/_ratelimit/<limiterName>
{
   "search.index_patterns" : "twitter",
   "search.max_queries_per_sec" : 1000
}

设置指定名称前缀的索引的查询QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

PUT _qos/_ratelimit/<limiterName>
{
   "search.index_patterns" : "nginx-log-*",
   "search.max_queries_per_sec" : 1000
}

设置任意索引的查询QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "**"
  }
}

不支持。

设置所有索引的查询总QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "*"
  }
}

PUT _qos/_ratelimit/<limiterName>
{
   "search.index_patterns" : "*",
   "search.max_queries_per_sec" : 1000
}

操作

7.10最新版本

其他版本

获取所有限流配置

GET _qos/limiter

GET _qos/_ratelimit

获取单个指定的限流配置

GET _qos/limiter/<limiterName>

GET _qos/_ratelimit/<limiterName>

获取多个指定的限流配置

GET _qos/limiter/<limiterName1,limiterName2>

GET _qos/_ratelimit/<limiterName1,limiterName2>

操作

7.10最新版本

其他版本

删除单个指定的限流配置

DELETE _qos/limiter/<limiterName>

DELETE _qos/_ratelimit/<limiterName>

删除多个指定的限流配置

DELETE _qos/limiter/<limiterName1,limiterName2>

DELETE _qos/_ratelimit/<limiterName1,limiterName2>