开通和配置Bot管理
如果您的业务存在因自动化工具(例如脚本、模拟器等)造成网站数据被爬取、业务作弊或欺诈、撞库或垃圾注册、恶意秒杀或褥羊毛、短信接口滥刷等情况,您可以配置Bot管理基础防护规则、网页防爬场景化规格、App防爬场景化规则,缓解核心数据资产泄露和业务营销活动风险,降低服务器带宽费用和负载。本文介绍如何开通和配置Bot管理防护策略。
背景信息
Bot管理支持基础防护和场景化防护。
区别 | 基础防护 | 场景化防护 |
原理 | 基于四/七层流量指纹识别Bot流量,一键开启防护。 | 针对网页防爬场景和App防爬场景集成SDK,自定义防护规则,达到最佳的防护效果。 |
应用场景 | 适用于防护对象不明确或希望拦截较低级爬虫的通用防护场景。 | 适用于针对特定场景的精细化防护。 |
相关文档 |
前提条件
已在接入管理页面完成Web业务接入。具体操作,请参见接入管理概述。
如果需要创建App防爬场景化防护模板,请确保要防护的App已集成SDK。具体操作,请参见Android应用集成SDK、iOS应用集成SDK。
开通Bot管理
登录Web应用防火墙3.0控制台。在顶部菜单栏,选择WAF实例的资源组和地域(中国内地、非中国内地)。
在左侧导航栏,选择 。
在BOT管理页面,单击立即防护。
在Web应用防火墙 3.0(包年包月) | 变配页面,开启Bot管理-Web防护或Bot管理-APP防护,并完成支付。
说明开启Bot管理-Web防护后,您可以配置Bot管理基础防护规则、网页防爬场景化规则。
开启Bot管理-APP防护后,您可以配置Bot管理基础防护规则、App防爬场景化规则。
如果您需要同时配置Bot管理基础防护规则、网页防爬场景化规则、App防爬场景化规则,您可以同时开启Bot管理-Web防护和Bot管理-APP防护。
创建基础防护规则
Bot管理基础防护不提供默认规则模板。如果您需要启用该功能,必须新建一个规则模板。
基础防护基于四/七层流量指纹识别Bot流量,您无需自定义防护规则,仅需要设置防护动作和生效对象,即可一键开启Bot防护。
登录Web应用防火墙3.0控制台。在顶部菜单栏,选择WAF实例的资源组和地域(中国内地、非中国内地)。
在左侧导航栏,选择 。
在基础防护页签,单击新建模板。
在新建模板 - Bot管理面板,完成如下配置后,单击确定。
配置项
说明
模板信息
为该模板设置一个名称。
长度为1~255个字符,支持中文和大小写英文字母,可包含数字、半角句号(.)、下划线(_)和短划线(-)。
模板介绍
为该模板填写相关介绍信息。
规则动作
为该防护规则配置处置动作为拦截或观察。
生效对象
从已添加的防护对象及对象组中,选择要应用该模板的防护对象和防护对象组。
一个防护对象或对象组只能关联到当前防护模块下的一个模板。关于添加防护对象和对象组的具体操作,请参见防护对象和防护对象组。
新建的规则模板默认开启。您可以在基础防护页签的规则模板卡片区域执行如下操作:
查看模板包含的规则ID。
说明一个基础防护模板包含三个规则ID,包括两个白名单规则ID、一个ALC和CC防护规则组成的规则ID。您可以通过该规则ID,在安全报表查看防护效果。具体操作,请参见安全报表。
编辑或删除规则模板。
通过模板开关,开启或关闭模板。
查看模板的规则动作和关联的防护对象/组数量。
创建网页防爬场景化防护规则
如果您的实际业务通过浏览器访问网页或H5页面(包括App中使用的H5页面)等,您可以创建网页防爬场景化防护模板,自定义防护规则,防御网页爬虫。
登录Web应用防火墙3.0控制台。在顶部菜单栏,选择WAF实例的资源组和地域(中国内地、非中国内地)。
在左侧导航栏,选择 。
在场景化防护页签,单击新建模板。
在防护场景定义配置向导页面,完成如下配置后,单击下一步。
配置项
说明
模板名称
为该模板设置一个名称。
长度为1~255个字符,支持中文和大小写英文字母,可包含数字、半角句号(.)、下划线(_)和短划线(-)。
模板介绍
为该模板填写相关介绍信息。
防护目标类型
选择网页/浏览器,表示防护通过浏览器访问的网页或H5页面(包括App中使用的H5页面)等。
Web SDK集成
更多信息,请参见Web应用集成SDK。
防护目标特征
添加目标流量的HTTP请求字段及其规则,即访问该防护目标时,HTTP请求报文中生成的有关该防护业务场景的字段内容。最多可以添加5个条件特征,且各条件之间为与关系。有关字段的详细内容,请参见匹配条件说明。
在防护规则推荐向导页面,完成如下配置后,单击下一步。
配置项
说明
合法Bot管理
勾选搜索引擎蜘蛛白名单后,选择合法搜索引擎白名单。
启用规则后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。
Bot特征识别
Bot行为识别
Bot威胁情报
在生效范围向导页面,完成如下配置后,单击下一步。
配置项
说明
生效对象
选中需要应用的防护对象或防护对象组,单击
图标,将该防护对象或防护对象组移入已选择对象区域内。
生效时间
您需要为已选择的防护规则设置生效时间,支持单个修改或批量修改。可选项:
在防护动作验证向导页面,测试防爬防护规则。
建议您先完成防护动作验证,再发布策略,避免出现因规则配置错误、兼容性等问题引发误拦截。如果您确认规则配置无误,也可以单击左下角跳过,直接创建。
验证步骤如下:
新建的规则模板默认开启。您可以在场景化防护页签的规则模板卡片区域执行如下操作:
单击规则模板卡片,查看该模板包含的规则信息。
编辑或删除规则模板。
通过模板开关,开启或关闭模板。
查看模板的规则动作和关联的防护对象/组数量。
创建App防爬场景化防护规则
如果您的实际业务是基于iOS或Android原生开发的App(不包括App中使用的H5页面)等,您可以创建App防爬场景化防护模板,自定义防护规则,防御App爬虫。
登录Web应用防火墙3.0控制台。在顶部菜单栏,选择WAF实例的资源组和地域(中国内地、非中国内地)。
在左侧导航栏,选择 。
在场景化防护页签,单击新建模板。
在防护场景定义配置向导页面,完成如下配置后,单击下一步。
配置项
说明
模板名称
为该模板设置一个名称。
长度为1~255个字符,支持中文和大小写英文字母,可包含数字、半角句号(.)、下划线(_)和短划线(-)。
模板介绍
为该模板填写相关介绍信息。
防护目标类型
选择APP,表示对使用基于iOS或Android原生开发的App(不包括App中使用的H5页面)进行防护。
App SDK集成
WAF提供基于Native App(Android/iOS)的SDK用以提升该场景下的防护效果。SDK集成后将会采集客户端的风险特征并生成安全签名附带在请求中,WAF会根据签名特征进行请求风险的识别和拦截。
您可以通过如下方式,集成App SDK:
获取iOS应用对应的SDK:请加入钉群(钉群号:34657699),联系产品技术专家进行咨询。
单击获取并复制appkey,用于发起SDK初始化请求。
集成App SDK。具体操作,请参见iOS应用集成SDK。
防护目标特征
添加目标流量的HTTP请求字段及其规则,即访问该防护目标时,HTTP请求报文中生成的有关该防护业务场景的字段内容。最多可以添加5个条件特征,且各条件之间为与关系。有关字段的详细内容,请参见匹配条件说明。
在防护规则推荐向导页面,完成如下配置后,单击下一步。
配置项
说明
Bot特征识别
识别规则
防护动作
您可根据需要为配置的Bot特征识别规则,设置处置动作为观察、拦截、严格滑块。
高级防护
单击高级防护,进行如下设置:
Bot行为识别
勾选AI智能防护后,需要为被识别的Bot行为配置规则动作为观察、滑块或严格滑块。
开启此开关后,防爬规则会通过AI智能防护引擎对访问流量进行分析和自动学习,生成有针对性的防护规则或黑名单。
Bot限速
开启此开关后,可自定义访问频率限制条件,有针对性地对访问频率过高的爬虫请求进行过滤,有效缓解CC攻击。
Bot威胁情报
在生效范围向导页面,完成如下配置后,单击下一步。
配置项
说明
生效对象
选中需要应用的防护对象或防护对象组,单击
图标,将该防护对象或防护对象组移入已选择对象区域内。
生效时间
您需要为已选择的防护规则设置生效时间,支持单个修改或批量修改。可选项:
在防护动作验证向导页面,测试防爬防护规则。
建议您先完成防护动作验证,再发布策略,避免出现因规则配置错误、兼容性等问题引发误拦截。如果您确认规则配置无误,也可以单击左下角跳过,直接创建。
验证步骤如下:
新建的规则模板默认开启。您可以在场景化防护页签的规则模板卡片区域执行如下操作:
新建的规则模板默认开启。您可以在场景化防护页签的规则模板卡片区域执行如下操作:
单击规则模板卡片,查看该模板包含的规则信息。
编辑或删除规则模板。
通过模板开关,开启或关闭模板。
查看模板的规则动作和关联的防护对象/组数量。
防爬策略测试常见问题
若在防护动作验证时出现异常情况,可参考表格解决对应问题。
报错 | 原因 | 解决方法 |
未查询到任何有效测试请求,您可以查看帮助文档或咨询我们以分析可能的原因。 | 实际测试请求没有发送成功,或者没有发送到WAF。 | 确认测试请求已经成功发送到WAF解析的地址。 |
实际测试请求的字段内容与防爬规则中定义的防护目标特征不一致。 | 在防爬策略中修改防护目标特征的内容。 | |
实际测试请求的源IP与配置策略中填写的公网测试IP不一致。 | 请确保您使用的是正确的公网IP,建议直接使用诊断工具查询您的公网IP地址。 | |
请求未通过校验,您可以查看帮助文档或咨询我们以分析可能的原因。 | 没有模拟真实用户访问,例如使用了调试模式、自动化工具等。 | 测试时使用客户端真实模拟用户访问。 |
防护场景选择错误,例如实际需要配置App防爬场景规则,但错选为网页/浏览器。 | 在防爬场景化规则中修改防护场景类型。 | |
访问请求存在跨域的情况,但在防爬场景化规则中未正确配置。 | 修改防爬场景化规则,选中防护目标有来自其它域名的跨域调用并从下拉列表中选择跨域访问的来源域名。 | |
前端兼容性问题。 | 请加入钉群(钉群号:34657699),联系产品技术专家进行咨询。 | |
请求未触发校验,您可以查看帮助文档或咨询我们以分析可能的原因。 | 测试规则没有下发完毕。 | 建议您多测试几次,等待防爬测试规则下发完成。 |
未拦截且查询到任何有效测试请求,您可以查看帮助文档或咨询我们以分析可能的原因。 | 实际测试请求没有发送成功,或者没有发送到WAF。 | 确认测试请求已经成功发送到WAF解析的地址。 |
实际测试请求的字段内容与防爬规则中定义的防护目标特征不一致。 | 在防爬策略中修改防护目标特征的内容。 | |
实际测试请求的源IP与配置策略中填写的公网测试IP不一致。 | 请确保您使用的是正确的公网IP,建议直接使用诊断工具查询您的公网IP地址。 |
后续步骤
您可以在安全报表页面,查询防护规则的执行记录。更多信息,请参见安全报表。