Web应用防火墙(Web Application Firewall,简称WAF)针对Bot管理模块进行全面升级,提供防爬场景化配置功能。您可以基于实际业务场景对防爬规则进行场景化定制,更有针对性地对业务进行爬虫风险防护。本文指导您针对浏览器访问网页的场景配置防爬场景化规则。
背景信息
防爬场景化配置功能支持基于不同业务场景定制防爬规则,结合智能算法,精准识别爬虫流量,并对命中规则的爬虫行为进行自动处置。同时,在定制场景化防爬规则后,您可以在测试环境中对防爬规则进行应用前的验证,避免因规则配置不合理或防护兼容性问题,对您的网站或App业务产生误拦截或防护效果低等不利影响。
前提条件
- 如果是包年包月实例:已开通高级版、企业版、旗舰版的Bot管理增值服务。更多信息,请参见开通Web应用防火墙。
- 如果是按量计费实例:已在账单与套餐中心,开启Bot管理模块下场景化配置功能。
说明 使用按量计费WAF实例的防爬场景化配置功能时,阿里云将根据您已设置的场景个数来计费。相关内容,请参见按量计费2.0。
- 已完成网站接入。具体操作,请参见网站接入概述。
添加浏览器访问网页的防爬场景
防爬策略测试常见问题
报错 | 原因 | 解决方法 |
---|---|---|
未查询到任何有效测试请求,您可以查看帮助文档或咨询我们以分析可能的原因。 | 实际测试请求没有发送成功,或者没有发送到WAF。 | 确认测试请求已经成功发送到WAF解析的地址。 |
实际测试请求的字段内容与防爬规则中定义的防护目标特征不一致。 | 在防爬策略中修改防护目标特征的内容。 | |
实际测试请求的源IP与配置策略中填写的公网测试IP不一致。 | 请确保您使用的是正确的公网IP,建议直接使用诊断工具查询您的公网IP地址。 | |
请求未通过校验,您可以查看帮助文档或咨询我们以分析可能的原因。 | 没有模拟真实用户访问,例如使用了调试模式、自动化工具等。 | 测试时使用客户端真实模拟用户访问。 |
防护场景选择错误,例如实际需要配置App防爬场景规则,但错选为网页/浏览器。 | 在防爬场景化规则中修改防护场景类型。 | |
访问请求存在跨域的情况,但在防爬场景化规则中未正确配置。 | 修改防爬场景化规则,选中防护目标有来自其它域名的跨域调用并从下拉列表中选择跨域访问的来源域名。 | |
前端兼容性问题。 | 您可以通过钉钉群或工单联系我们排查。 | |
请求未触发校验,您可以查看帮助文档或咨询我们以分析可能的原因。 | 测试规则没有下发完毕。 | 建议您多测试几次,等待防爬测试规则下发完成。 |
未拦截且查询到任何有效测试请求,您可以查看帮助文档或咨询我们以分析可能的原因。 | 实际测试请求没有发送成功,或者没有发送到WAF。 | 确认测试请求已经成功发送到WAF解析的地址。 |
实际测试请求的字段内容与防爬规则中定义的防护目标特征不一致。 | 在防爬策略中修改防护目标特征的内容。 | |
实际测试请求的源IP与配置策略中填写的公网测试IP不一致。 | 请确保您使用的是正确的公网IP,建议直接使用诊断工具查询您的公网IP地址。 |