通过ESA的Bots防护模块,可基于行为分析与流量特征识别,拦截恶意爬虫对静态资源的非法爬取,有效降低异常流量对带宽的消耗并提升业务服务稳定性。
背景信息
静态资源(如音视频、图片、CSS/JS文件)通常通过缓存机制处理,不直接回源至服务器,因此传统防护策略主要聚焦于动态请求的Bots攻击。然而,恶意网站可能直接引用静态资源URL,导致带宽和服务器资源被异常消耗。ESA针对此类场景提供专门的安全防护策略,通过识别恶意Bots身份并拦截其访问静态资源的请求,有效防止爬虫滥用缓存资源或消耗带宽,实现对静态资源的主动防御。
开启静态资源请求生效
为有效防止恶意爬虫通过静态资源盗链消耗带宽或绕过缓存机制,需预先为绝对是Bot、可能是Bot或已通过验证的Bot设置差异化处置动作,并开启对静态资源请求生效功能。系统将对缓存命中的静态资源请求执行Bots行为分类策略,根据风险等级实施差异化拦截策略,同时确保合法Bots的正常抓取。
在ESA控制台,选择站点管理,在站点列单击目标站点。
在左侧导航栏,选择 。
在简易模式页面,单击绝对是Bot、可能是Bot或已通过验证的Bot的配置,设置防护动作。
绝对是Bot:指基于阿里云超百种爬虫情报库,识别出包含大量恶意爬虫的请求。通常建议您配置拦截或滑块挑战。
可能是Bot:这类的请求风险较绝对是Bot相对较低,有可能包含恶意爬虫以及其他流量。通常建议您配置观察或在风险较高时期做滑块挑战。
已通过验证的Bot:这类通常是各类搜索引擎的爬虫,有利于您网站的SEO优化。一般建议放行,如您不希望任何搜索引擎爬虫访问您的站点时可做拦截操作。
打开对静态资源请求生效的开关。
创建静态资源防护规则
通过高级模式创建防护规则集,对静态资源设置Bots行为/特征识别、爬虫拦截、白名单放行等更精细化的防护策略。
在ESA控制台,选择站点管理,在站点列单击目标站点。
在左侧导航栏,选择 。
单击
,根据界面提示填写规则集名称、选择防护目标类型和SDK集成方式。在如果请求匹配以下规则...区域设置匹配字段为是否为静态请求,匹配运算符为等于,开关设置为
,则执行…区域根据实际需要选择对应的防护策略进行配置。
在生效时间区域,单击操作列的编辑,设置生效时间后单击确定。
完成配置后单击确定。