MSE 流量防护使用指南

预期的高峰流量场景（活动场景）

在这个场景下，我们往往对高峰时我们的应用需要正常处理多少请求有一个预先的评估，并根据这个评估规划了资源的扩容和分配。通过多轮的压测和调整（往往会使用不同的流量调用模型多次压测），我们能够定下一套资源使得我们的整体系统在接受预期流量的同时将负载保持在一个接近满载但是相对安全的水位。接下来我们就需要根据此时压测流量来配置各个应用以及接口的规则阈值，从而让我们的应用在实际高峰场景下即便面对数倍于系统能力的突发流量也能够正常处理预期的流量，达到业务目标。

日常场景

有些应用并不存在明显的预期中的高峰流量场景，但也存在被突发流量打垮的风险。对于这种应用我们优先推荐通过压测的方式逐步摸高，确定当前系统的容量上限（超过该流量系统的服务质量出现明显下滑），并且根据这个上限来配置应用和接口的阈值，避免突发流量打垮应用。除此之外，也会有部分应用不具备压测的条件，无法确定容量的上限，此时我们可以根据日常的流量指标（往往是最大流量）结合当时系统负载水位适当地扩大1.5倍左右作为阈值来配置规则，比如日常最大流量为1000QPS，此时CPU等系统负载水位在30%，我们就可以考虑配置1500QPS。这样，虽然我们可能在一些突发流量场景下会触发一些限流，但是能够保障系统持续处于可用状态。

自适应过载保护

简介

自适应过载保护将CPU使用率作为衡量系统负载的依据，引入控制论的算法自适应地调整对服务端流量的限流比例，在预期外的流量突增场景下也能将CPU使用率相对平稳地控制在配置的阈值范围内。

生效范围

自适应过载保护对所有服务端接口生效，优先级低于流量防护规则。

适用场景

自适应过载保护为服务端接口提供基于CPU的兜底防护，适用于CPU相关型应用，预期外的接口出现突增 -> 系统CPU使用率持续上升 -> 影响核心接口RT。

页面说明

页面左侧为自适应过载保护事件列表，右侧展示近5分钟该应用的节点平均CPU使用率变化趋势。指标每10s上报一次，实际运行时为了保障足够的灵敏，每500ms刷新一次CPU使用率，所以可能存在指标上没超阈值，但实际存在部分时刻超过阈值，建议以事件信息为准。

事件为节点维度，基于算法的状态变更，包含限流开始事件、限流持续事件以及限流结束事件。

单击事件操作的查看链接，可以查询对应IP节点的CPU使用率数据，并将时间回放至事件上报时间，以观察事件触发时对应节点的CPU使用率以及限流概率等信息。

总QPS限流

简介

总QPS限流将以节点维度统计总QPS（单节点所有服务端接口QPS之和），对于超过阈值的请求进行限流操作。

生效范围

总QPS限流对所有服务端接口生效，优先级低于流量防护规则。

适用场景

由于不是所有系统的表现都与CPU强相关，有些应用在低CPU负载下也会因为内存、网络等原因导致性能劣化。而总QPS限流是基于节点的总QPS来进行限流，提供了基于流量的防护手段。

预期外的接口出现突增 -> 竞争资源紧缺 -> 影响核心接口。

页面说明

页面左侧为总QPS限流事件，右侧展示近5分钟该应用的节点平均总QPS请求数据变化趋势，事件为节点和接口维度，基于实际发生总QPS限流的节点以及接口上报事件，每5分钟上报一次，上报过去5分钟内发生的限流事件。

单击事件的查看链接，可以查询对应IP节点的总QPS，并将时间回放至事件上报时间附近，以观察事件触发时对应节点的总QPS以及限流是否符合预期，如果需要查看更加详细的信息，比如接口和节点维度，可以前往接口详情或者节点详情，后续会提供对应的跳转能力。

总并发限流

简介

总并发限流将以节点维度统计总并发（单节点所有服务端接口并发之和），对于超过阈值的请求进行限流操作。

生效范围

总并发限流对所有服务端接口生效，优先级低于流量防护规则。

适用场景

在调用RT较高的场景下（普遍超过1s），QPS限流会出现一个比较明显的问题，当系统的竞争资源（线程池、内存、连接池等）被占用时，会导致排队进一步导致接口的RT上升，如果此时只采用基于QPS的限流，每秒还是会有少量请求进入，而队列中的请求无法在秒级别消化完成，这会导致队列进一步累积，RT进一步上升，无论新旧请求RT都有显著上升。此时如果使用了并发限流，如果还有一定量的请求没有完成，新的请求会被直接拒绝，这样虽然请求会被限流，但是系统处理完当前请求后，新的请求就会通过，以较小的排队时间完成请求。从整体上看，请求的成功率和平均RT都会有显著的改善。

预期外的接口出现突增 -> 竞争资源紧缺 -> 队列堆积 -> 所有请求RT上升。

页面说明

页面左侧为总并发限流事件，右侧展示近5分钟该应用的节点平均总并发请求数据变化趋势，事件为节点+接口维度，基于实际发生总并发限流的节点以及接口上报事件，每5分钟上报一次，上报过去5分钟内发生的限流情况。

单击事件的查看链接，可以查询对应IP节点的总并发，并将时间回放至事件上报时间附近，以观察事件触发时对应节点的总并发以及限流是否符合预期，如果需要查看更加详细的信息，比如接口和节点维度，可以前往接口详情或者节点详情，后续会提供对应的跳转能力。

接口流控

接口流控以QPS阈值作为限流判断标准，具备两种流控效果，分别适用于不同场景。

第一种是快速失败，对于超过阈值的请求直接进行限流操作，适用于大部分场景。

第二种是排队等待，我们会根据配置的阈值来匀速通过请求，比如配置10QPS，同时到达3个请求，那么第一个请求会直接通过，第二个请求会等待100ms后通过，以此类推（如计算出的等待时间大于配置的超时时间会直接拒绝）。

这种流控效果适用于需要削峰填谷的场景，图中，黄色的部分代表超出消息处理能力的部分。把黄色部分的消息平均到之后的空闲时间去处理，这样既可以保证系统负载处在一个稳定的水位，又可以尽可能地处理更多消息。通过配置流控规则，可以达到消息匀速处理的效果。不过需要注意的是这种匀速是基于等待来实现的，会导致一定程度的线程上涨，因此不建议将超时时间配置过长。

并发隔离

并发隔离以并发数阈值作为限流判断标准，对于超出阈值的请求直接进行限流操作。服务端接口的并发隔离主要用于一些慢调用场景，与总并发限流的适用场景相同。

热点参数

热点参数功能主要服务于一些有业务语义的限流需求，可以根据一些参数条件来进行更精细的限流。

热点参数规则根据作用的框架类型不同分为热点参数防护（HTTP）以及热点参数防护（RPC）。

增加例外项

前面提到对于核心请求，处理额外配置接口粒度的流量防护规则之外，我们还需要将他们增加进例外项中，来保证他们不会被系统防护限制。所有的系统防护功能都支持例外项的配置，在对应功能的设置界面可以添加例外项。

左侧为可供直接选择的接口（近期有调用的接口），对于未展示在左侧的接口可以直接在输入框处输入后回车添加到已选接口中。

慢调用熔断

简介

慢调用熔断会分别统计每个客户端接口的慢调用比例，当慢调用比例大于配置的阈值时对该接口进行熔断，熔断期间该接口直接快速失败，并相隔一定时间通过用于探测的请求，探测成功后结束熔断。

生效范围

慢调用熔断对所有客户端接口生效，但对于配置了接口维度熔断规则的接口不生效。

适用场景

慢调用熔断的使用场景基本和异常调用熔断中的超时异常相同，区别在于可以动态调整判断慢调用的RT标准，不依赖超时配置。

页面说明

页面左侧为慢调用熔断事件，右侧展示近5分钟该应用的TOP10平均RT，事件为节点和接口维度，基于实际发生异常调用熔断的节点以及接口上报事件，每5分钟上报一次，上报过去5分钟内发生的限流情况。

异常调用熔断

简介

异常调用熔断会分别统计每个客户端接口的异常比例，当异常比例大于配置的阈值时对该接口进行熔断，熔断期间该接口直接快速失败，并相隔一定时间通过用于探测的请求，探测成功后结束熔断。

生效范围

异常调用熔断对所有客户端接口生效，但对于配置了接口维度熔断规则的接口不生效。

适用场景

异常调用熔断主要分为两类场景。

超时场景：一个客户端接口的超时异常比例过高，往往是服务提供方出现异常情况，但这会进一步导致调用方（本应用）请求堆积，影响本应用的其他接口，通过熔断的方式可以在提供方异常期间快速失败，避免堆积。

非超时场景：一个客户端接口的非超时异常比例过高，异常调用熔断能够通过抛出限流异常供用户处理，起到降级的效果，优化异常场景下的用户体验。

页面说明

页面左侧为异常调用熔断事件，右侧展示近5分钟该应用的TOP10异常比例接口，事件为节点+接口维度，基于实际发生异常调用熔断的节点以及接口上报事件，每5分钟上报一次，上报过去5分钟内发生的限流。