限流是流量控制中最常用的手段之一,能有效地防止外部请求超出后端服务的承载能力,从而避免发生级联雪崩。在高并发场景下,限流可以通过阻止一部分请求来保证后端服务一直可用。云原生网关支持路由级别的限流策略,可以精确地控制某个路由上的请求数量在设定的时间周期内不超过阈值。本文介绍云原生网关如何配置限流策略。
MSE控制台的限流功能进行了升级,新增了多种限流模式(只有网关版本为1.1.0及以上的时候才可以使用新增的限流模式)。同时,老版本的限流功能也继续保留。因此,需要您根据不同版本的网关来选择不同的限流策略进行配置。
若您的网关版本为1.1.0以上,请参见本文的配置限流策略(新版)章节。
若您的网关版本为1.0.0版本,请参见本文的配置限流策略(旧版)章节。
配置限流策略(新版)
配置的阈值均为整体阈值,每个网关节点的限流阈值=整体阈值/节点数,若限流阈值为小数则向上取整。例如,路由Demo上的QPS为1001,如果您的网关节点数量是2,那么每个网关节点上,对路由Demo的QPS限制是501。
登录MSE网关管理控制台,并在顶部菜单栏选择地域。
在左侧导航栏,选择云原生网关 > 网关列表,单击目标网关名称。
在左侧导航栏,单击路由管理,然后选择路由页签。
单击需要变更的路由规则操作列下的策略配置。
在策略配置页签,单击限流。
网关版本为1.2.25及以上
配置流控规则
流控规则的原理是监控路由的QPS指标,当指标达到设定的阈值时立即拦截流量,避免后端服务被瞬时的流量高峰冲垮,从而保障高可用性。
在限流区域,单击流控规则页签。
在流控规则区域,进行相关配置。
配置项
说明
总体QPS阈值
设置总体QPS阈值。
Web fallback 行为
选择Web fallback 行为为返回指定内容或者跳转到指定页面。
选择Web fallback 行为为跳转到指定页面时:
跳转地址
输入跳转地址。
选择Web fallback 行为为返回指定内容时:
HTTP状态码
设置HTTP状态码。默认为429。
返回 content-type
选择返回 content-type为普通文本或JSON。
HTTP 返回文本
输入返回文本。
是否开启
开启后,流控规则生效。
单击新建或保存,在提示对话框中单击确定。
配置并发规则
并发规则的原理是统计当前网关处理中的请求数之和,当指标达到设定的阈值时立即拦截流量,可配置为后端服务的最大并发处理请求数,实现在高并发下的后端服务可用性保护。
在限流区域,单击并发规则页签。
在并发规则页签,进行相关配置。
配置项
说明
总体并发数阈值
设置总体并发数阈值。
Web fallback 行为
选择Web fallback 行为为返回指定内容或者跳转到指定页面。
选择Web fallback 行为为跳转到指定页面时:
跳转地址
输入跳转地址。
选择Web fallback 行为为返回指定内容时:
HTTP状态码
设置HTTP状态码。默认为429。
返回 content-type
选择返回 content-type为普通文本或JSON。
HTTP 返回文本
输入返回文本。
是否开启
开启后,并发规则生效。
单击新建或保存,在提示对话框中单击确定。
配置熔断规则
熔断规则的原理是监控路由的响应时间或异常比例,当达到指定的阈值时立即降低依赖优先级。在指定的时间内,系统不会调用该不稳定的资源,避免后端服务受到影响,从而保障后端的高可用性。当指定时间过后,再重新恢复对该资源的调用。
在限流区域,单击熔断规则页签。
在熔断规则页签,进行相关配置。
配置项
说明
统计窗口时长
统计的时间窗口长度,取值范围为1秒~120分钟。
最小请求数目
触发熔断的最小请求数目,若当前统计窗口内的请求数小于此值,即使达到熔断条件规则也不会触发。
阈值类型
选择以慢调用比例或异常比例作为阈值。
选择以慢调用比例作为阈值,需要设置允许的慢调用RT(即最大的响应时间),请求的响应时间大于该值则统计为慢调用。在降级阈值中设置触发熔断的慢调用比例。规则开启后,在单位统计时长内请求数目大于设置的最小请求数目,并且慢调用的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后,熔断器会进入探测恢复状态,若接下来的一个请求响应时间小于设置的慢调用RT,则结束熔断;若大于设置的慢调用RT,则会再次被熔断。
选择以异常比例作为阈值,需要在降级阈值中设置触发熔断的异常比例。规则开启后,在单位统计时长内业务异常数目大于设置的最小请求数目,并且异常的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。
熔断时长(s)
即熔断触发后持续的时间。资源进入熔断状态后,在配置的熔断时长内,请求都会快速失败。
Web fallback 行为
选择Web fallback 行为为返回指定内容或者跳转到指定页面。
选择Web fallback 行为为跳转到指定页面时:
跳转地址
输入跳转地址。
选择Web fallback 行为为返回指定内容时:
HTTP状态码
设置HTTP状态码。默认为429。
返回 content-type
选择返回 content-type为普通文本或JSON。
HTTP 返回文本
输入返回文本。
是否开启
开启后,熔断规则生效。
单击新建或保存,在提示对话框中单击确定。
网关版本为1.1.0-1.2.24
配置流控规则
流控规则的原理是监控路由的QPS指标,当指标达到设定的阈值时立即拦截流量,避免后端服务被瞬时的流量高峰冲垮,从而保障高可用性。
在限流面板,单击流控规则页签,然后单击新增流控规则。
在新增流控防护规则页面,进行相关配置。
在配置防护规则页面,根据您的需要设置总体QPS阈值,并打开是否开启按钮。然后单击下一步配置限流行为。
在配置限流行为页面,您可以通过单击新增行为自定义触发限流后的HTTP应答行为。
关联好限流行为后,单击新建,完成规则创建。
配置并发规则
并发规则的原理是统计当前网关处理中的请求数之和,当指标达到设定的阈值时立即拦截流量,可配置为后端服务的最大并发处理请求数,实现在高并发下的后端服务可用性保护。
在限流面板,单击并发规则页签,然后单击新增并发规则。
在新增并发防护规则页面,进行相关配置。
在配置防护规则页面,根据您的需要去设置总体并发数阈值并打开是否开启按钮。然后单击下一步。
在配置限流行为页面,您可以通过单击新增行为自定义触发限流后的HTTP响应行为。
关联好限流行为后,单击新建,完成规则创建。
配置熔断规则
熔断规则的原理是监控路由的响应时间或异常比例,当达到指定的阈值时立即降低依赖优先级。在指定的时间内,系统不会调用该不稳定的资源,避免后端服务受到影响,从而保障后端的高可用性。当指定时间过后,再重新恢复对该资源的调用。
在限流面板,单击熔断规则页签,然后单击新增熔断规则。
在新增熔断防护规则页面,进行相关配置。
在配置防护规则页面,根据您的需要去设置总体并发数阈值并打开是否开启按钮。然后单击下一步。
参数
描述
统计窗口时长
统计的时间窗口长度,取值范围为1秒~120分钟。
最小请求数目
触发熔断的最小请求数目,若当前统计窗口内的请求数小于此值,即使达到熔断条件规则也不会触发。
阈值类型
选择以慢调用比例或异常比例作为阈值。
选择以慢调用比例作为阈值,需要设置允许的慢调用RT(即最大的响应时间),请求的响应时间大于该值则统计为慢调用。在降级阈值中设置触发熔断的慢调用比例。规则开启后,在单位统计时长内请求数目大于设置的最小请求数目,并且慢调用的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后,熔断器会进入探测恢复状态,若接下来的一个请求响应时间小于设置的慢调用RT则结束熔断,若大于设置的慢调用RT则会再次被熔断。
选择以异常比例作为阈值,需要在降级阈值中设置触发熔断的异常比例。规则开启后,在单位统计时长内业务异常数目大于设置的最小请求数目,并且异常的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。
熔断时长
即熔断触发后持续的时间。资源进入熔断状态后,在配置的熔断时长内,请求都会快速失败。
熔断恢复策略
熔断器进入恢复阶段(半开启状态)的恢复策略。
单次探测恢复:经过熔断时长后,熔断器会对接下来的一个请求进行探测,若该请求符合预期(不为慢调用或没有异常),则结束熔断;否则重新回到熔断阶段。
在配置限流行为页面,您可以通过单击新增行为自定义触发限流后的HTTP响应行为。
关联好限流行为后,单击新增,完成规则创建。
配置限流策略(旧版)
登录MSE网关管理控制台。
在左侧导航栏,选择云原生网关 > 网关列表,并在顶部菜单栏选择地域。
在网关列表页面,单击目标网关名称。
在左侧导航栏,单击路由管理 > 路由配置页面,在需要变更的路由规则操作列单击策略配置。
在策略配置区域,单击限流页签。
如果您之前没有配置过路由限流策略,请单击配置策略。
如果您之前已经配置过路由限流策略,请单击限流策略右侧的图标。
在限流阈值规则中设置时间窗口和单击请求阈值,然后单击确定。
限流配置参数说明如下:
时间窗口:设置时间周期。默认设置为1秒,由周期数量和时间单位组成。
单机请求阈值:设置网关允许的单机请求阈值。
限流规则配置完成后,打开开启状态右侧的开关。
开启:开启限流策略后,请求该条路由会受到设置的时间窗口和请求次数限制。
关闭:关闭限流策略后,请求该条路由的次数无限制。
结果验证
执行以下测试请求命令:
curl -I http://121.196.XX.XX/demo/item/list //网关入口IP
未开启限流策略的响应结果:
HTTP/1.1 200 OK x-content-type-options: nosniff x-xss-protection: 1; mode=block cache-control: no-cache, no-store, max-age=0, must-revalidate pragma: no-cache expires: 0 x-frame-options: DENY content-type: application/json content-length: 86 date: Mon, 29 Nov 2021 08:28:00 GMT x-envoy-upstream-service-time: 4 server: istio-envoy
开启限流策略的响应结果(HTTP状态码返回429):
HTTP/1.1 429 Too Many Requests x-local-rate-limit: true content-length: 18 content-type: text/plain date: Mon, 29 Nov 2021 08:28:01 GMT server: istio-envoy