AI Token限流_微服务引擎(MSE)-阿里云帮助中心

本文介绍AI Token限流。

背景信息

ai-token-ratelimit插件实现了基于特定键值实现token限流，键值来源可以是 URL 参数、HTTP 请求头、客户端 IP 地址、consumer 名称、cookie中 key 名称。其借助Redis实现全局的token限流，工作流程如下图所示：

配置说明

配置项	类型	必填	默认值	说明
rule_name	string	是	-	限流规则名称，根据限流规则名称+限流类型+限流key名称+限流key对应的实际值来拼装Redis key。
rule_items	array of object	是	-	限流规则项，按照rule_items下的排列顺序，匹配第一个rule_item后命中限流规则，后续规则将被忽略。
rejected_code	int	否	429	请求被限流时，返回的HTTP状态码。
rejected_msg	string	否	Too many requests	请求被限流时，返回的响应体。
redis	object	是	-	Redis相关配置。

rule_items中每一项的配置字段说明。

配置项	类型	必填	默认值	说明
limit_by_header	string	否，`limit_by_*`中选填一项。	-	配置获取限流键值的来源 HTTP 请求头名称。
limit_by_param	string	否，`limit_by_*`中选填一项。	-	配置获取限流键值的来源 URL 参数名称。
limit_by_consumer	string	否，`limit_by_*`中选填一项。	-	根据 consumer 名称进行限流，无需添加实际值。
limit_by_cookie	string	否，`limit_by_*`中选填一项。	-	配置获取限流键值的来源 Cookie中 key 名称。
limit_by_per_header	string	否，`limit_by_*`中选填一项。	-	按规则匹配特定 HTTP 请求头，并对每个请求头分别计算限流，配置获取限流键值的来源 HTTP 请求头名称，配置`limit_keys`时支持正则表达式或`*`。
limit_by_per_param	string	否，`limit_by_*`中选填一项。	-	按规则匹配特定 URL 参数，并对每个参数分别计算限流，配置获取限流键值的来源 URL 参数名称，配置`limit_keys`时支持正则表达式或`*`。
limit_by_per_consumer	string	否，`limit_by_*`中选填一项。	-	按规则匹配特定 consumer，并对每个 consumer 分别计算限流，根据 consumer 名称进行限流，无需添加实际值，配置`limit_keys`时支持正则表达式或`*`。
limit_by_per_cookie	string	否，`limit_by_*`中选填一项。	-	按规则匹配特定 Cookie，并对每个 Cookie 分别计算限流，配置获取限流键值的来源 Cookie中 key 名称，配置`limit_keys`时支持正则表达式或`*`。
limit_by_per_ip	string	否，`limit_by_*`中选填一项。	-	按规则匹配特定 IP，并对每个 IP 分别计算限流，配置获取限流键值的来源 IP 参数名称，从请求头获取，以`from-header-对应的header名`，示例：`from-header-x-forwarded-for`，直接获取对端socket ip，配置为`from-remote-addr`。
limit_keys	array of object	是	-	配置匹配键值后的限流次数。

limit_keys中每一项的配置字段说明。

配置项	类型	必填	默认值	说明
key	string	是	-	匹配的键值，`limit_by_per_header`,`limit_by_per_param`,`limit_by_per_consumer`,`limit_by_per_cookie` 类型支持配置正则表达式（以regexp：开头后面跟正则表达式）或者（代表所有），正则表达式示例：`regexp：^d.`（以d开头的所有字符串）；`limit_by_per_ip`支持配置 IP 地址或 IP 段。
token_per_second	int	否，`token_per_second`，`token_per_minute`，`token_per_hour`，`token_per_day` 中选填一项。	-	允许每秒请求token数。
token_per_minute	int	否，`token_per_second`，`token_per_minute`，`token_per_hour`，`token_per_day` 中选填一项。	-	允许每分钟请求token数。
token_per_hour	int	否，`token_per_second`，`token_per_minute`，`token_per_hour`，`token_per_day` 中选择选填写一项。	-	允许每小时请求token数。
token_per_day	int	否，`token_per_second`，`token_per_minute`，`token_per_hour`，`token_per_day` 中选填一项。	-	允许每天请求token数。

redis中每一项的配置字段说明。

配置项	类型	必填	默认值	说明
service_name	string	必填	-	Redis 服务名称，带服务类型的完整 FQDN 名称，例如 my-redis.dns、redis.my-ns.svc.cluster.local。
service_port	int	否	服务类型为固定地址（static service）默认值为80，其他为6379。	输入Redis服务的服务端口。
username	string	否	-	Redis 用户名。
password	string	否	-	Redis 密码。
timeout	int	否	1000	Redis 连接超时时间，单位毫秒。

配置示例

识别请求参数 apikey，进行区别限流。

rule_name: default_rule
rule_items:
  - limit_by_param: apikey
    limit_keys:
      - key: 9a342114-ba8a-11ec-b1bf-00163e1250b5
        token_per_minute: 10
      - key: a6a6d7f2-ba8a-11ec-bec2-00163e1250b5
        token_per_hour: 100
  - limit_by_per_param: apikey
    limit_keys:
      # 正则表达式，匹配以a开头的所有字符串，每个apikey对应的请求10tps
      - key: "regexp: ^a.*"
           token_per_second: 10
      # 正则表达式，匹配以b开头的所有字符串，每个apikey对应的请求100tpm
      - key: "regexp: ^b.*"
        token_per_minute: 100
      # 兜底用，匹配所有请求，每个apikey对应的请求1000tph
      - key: "*"
        token_per_hour: 1000
redis:
  service_name: redis.static

识别请求头 x-ca-key，进行区别限流。

rule_name: default_rule
rule_items:
  - limit_by_header: x-ca-key
    limit_keys:
        - key: 102234
        token_per_minute: 10
      - key: 308239
        token_per_hour: 10
  - limit_by_per_header: x-ca-key
    limit_keys:
      # 正则表达式，匹配以a开头的所有字符串，每个apikey对应的请求10tps
      - key: "regexp: ^a.*"
        token_per_second: 10
      # 正则表达式，匹配以b开头的所有字符串，每个apikey对应的请求100tpm
      - key: "regexp: ^b.*"
        token_per_minute: 100
      # 兜底用，匹配所有请求，每个apikey对应的请求1000tph
      - key: "*"
        token_per_hour: 1000

redis:
  service_name: redis.static

根据请求头 x-forwarded-for，获取对端IP，进行区别限流。

rule_name: default_rule
rule_items:
  - limit_by_per_ip: from-header-x-forwarded-for
    limit_keys:
      # 精确ip
      - key: 1.1.1.1
        token_per_day: 10
      # ip段，符合这个ip段的ip，每个ip 100tpd
      - key: 1.1.1.0/24
        token_per_day: 100
      # 兜底用，即默认每个ip 1000tpd
      - key: 0.0.0.0/0
        token_per_day: 1000
redis:
  service_name: redis.static

识别consumer，进行区别限流。

rule_name: default_rule
rule_items:
  - limit_by_consumer: ''
    limit_keys:
      - key: consumer1
        token_per_second: 10
      - key: consumer2
        token_per_hour: 100
  - limit_by_per_consumer: ''
    limit_keys:
      # 正则表达式，匹配以a开头的所有字符串，每个consumer对应的请求10tps
      - key: "regexp: ^a.*"
        token_per_second: 10
      # 正则表达式，匹配以b开头的所有字符串，每个consumer对应的请求100tpm
      - key: "regexp: ^b.*"
        token_per_minute: 100
      # 兜底用，匹配所有请求，每个consumer对应的请求1000tph
      - key: "*"
        token_per_hour: 1000   

redis:
  service_name: redis.static

识别cookie中的键值对，进行区别限流。

rule_name: default_rule
rule_items:
  - limit_by_cookie: key1
    limit_keys:
      - key: value1
        token_per_minute: 10
      - key: value2
        token_per_hour: 100
  - limit_by_per_cookie: key1
    limit_keys:
      # 正则表达式，匹配以a开头的所有字符串，每个cookie中的value对应的请求10tps
      - key: "regexp: ^a.*"
        token_per_second: 10
      # 正则表达式，匹配以b开头的所有字符串，每个cookie中的value对应的请求100tpm
      - key: "regexp: ^b.*"
        token_per_minute: 100
      # 兜底用，匹配所有请求，每个cookie中的value对应的请求1000tph
      - key: "*"
        token_per_hour: 1000 
rejected_code: 200
rejected_msg: '{"code":-1,"msg":"Too many requests"}'
redis:
  service_name: redis.static

限流示例

rule_name: default_rule
rule_items:
  - limit_by_per_ip: from-remote-addr
    limit_keys:
      - key: 0.0.0.0/0
        token_per_minute: 100
redis:
  service_name: redis.static
  service_port: 6379
  username: default
  password: '123456'
rejected_code: 429
rejected_msg: "您的请求频率过高，请稍后再试。"

以上配置限制了每个IP一分钟内最多使用100个token，当触发限流时，网关会返回用户自定义的限流消息，示例如下：