通过 AI 爬虫管理功能，您可以对访问站点的主流 AI 爬虫进行识别和访问控制，灵活配置拦截或监控策略以保护站点内容。
前提条件
已将域名接入ESA。具体操作，请参见将域名快速接入ESA。
站点已绑定付费套餐（基础版、标准版、高级版或企业版）。
步骤一：打开AI爬虫管理功能
在ESA控制台选择站点管理，在站点列单击目标站点。
点击需要进行管理的爬网程序的状态开关，完成二次确认后，ESA即可自动创建一条专属防护规则并按照处置动作进行防护。
说明开启后，系统会自动开始识别和记录AI爬虫访问数据，不会影响现有业务流量。
步骤二：查看爬虫访问概况
开启爬网程序管理后，您可以在数据分析页签查看AI爬虫的访问数据和趋势。
在AI 爬虫管理页面，选择数据分析页签。
根据业务需求配置筛选器并选择合适的时间段即可进行分析。
说明数据采集可能存在5-10分钟延迟。如果刚开通功能，请等待数据收集后再查看。
步骤三：配置访问控制规则
在AI 爬虫管理页面，选择爬虫客户端页签，
在处置动作列，单击
，选择控制动作，单击确定：拦截：拦截该爬虫的所有请求，返回设置的错误响应码和响应内容。
观察：记录访问数据但不拦截。
说明此方式适合快速控制单个爬虫，也可批量勾选爬虫并批量编辑处置动作。
前往设置页签，单击拦截响应栏右侧配置，可对自定义被拦截的爬网程序收到的响应内容：
响应的拦截页面：选择爬虫程序被拦截时收到的响应页面，可通过配置自定义页面编辑。
响应码：填入爬虫程序被拦截时收到的响应码。默认为403，暂不支持408、444、499。
该文章对您有帮助吗？