AI 网关支持对Mcp Server进行添加策略和配置插件,提高API的 AI 能力,助力开发者们高效构建 MCP Server。
策略配置修改后即时生效,无需重新发布。
操作步骤
策略配置
并发控制
并发规则的原理是统计当前网关处理中的请求数之和,当指标达到设定的阈值时立即拦截流量,可配置为后端服务的最大并发处理请求数,实现在高并发下的后端服务可用性保护。
流量控制
流控规则的原理是监控API的QPS指标,当指标达到设定的阈值时立即拦截流量,避免后端服务被瞬时的流量高峰冲垮,从而保障高可用性。
熔断策略
熔断规则的原理是监控API的响应时间或异常比例,当达到指定的阈值时立即降低依赖优先级。在指定的时间内,系统不会调用该不稳定的资源,避免后端服务受到影响,从而保障后端的高可用性。当指定时间过后,再重新恢复对该资源的调用。
IP黑白名单策略
IP 黑白名单策略的原理是通过预先配置允许或拒绝访问的 IP 地址列表,控制客户端对服务的访问权限。
超时策略
AI 网关提供 MCP Server 的超时设置,您可以按需为指定 MCP Server 配置网关等待请求响应结果的最大时间。如果网关在设定的时间内未收到后端服务的响应,将向客户端返回一个 HTTP 状态码为 504(Gateway Timeout)的响应结果。
Header修改策略
在将请求转发至目标后端服务之前,或在后端服务的响应返回给客户端之前,Header设置功能允许您修改原始请求中的头信息。
fallback策略
用于在请求的后端服务不可用时(如无可用节点),将请求引导至一个预设的备选服务或返回指定内容,从而提升系统的健壮性和用户体验。
Waf策略
可以有效识别恶意流量,并在清洗和过滤后,将正常、安全的流量发送给后端服务器,进而避免系统被入侵,导致功能和性能异常,保障业务和数据安全。
插件配置
单击添加插件页签。
在快捷导航处,选择要安装的插件类型或者搜索插件名称,单击插件卡片:
如果插件未安装,在安装插件的弹出框中单击安装并配置,在启用插件的弹框中配置插件规则,并选择启用状态。
如果插件已安装,在启用插件的弹框中,配置插件规则,并选择启用状态。
单击确定,返回API的挂载列表,可以看到API的插件挂载情况和启用状态。