爬虫风险管理(Anti-Bot Service,简称Anti-Bot)的日志服务功能详细记录网站域名的访问、攻防日志。日志中包含数十个字段,您可以根据不同需要选取特定的日志字段进行查询分析。

字段 说明
__topic__ 日志主题(Topic),该字段值固定为antibot_access_log。
antibot 触发的爬虫风险管理防护策略类型,包括:
  • ratelimit:频次控制
  • sdk:App端增强防护
  • algorithm:算法模型
  • intelligence:爬虫情报
  • acl:精准访问控制
  • blacklist:黑名单
antibot_action 爬虫风险管理防护策略执行的操作,包括:
  • challenge:下发JavaScript脚本进行验证
  • drop:拦截
  • captcha:滑块验证
  • report:仅观察记录
antibot_rule 所触发的爬虫风险管理的规则ID。
antibot_verify 爬虫风险管理采用的校验手段的验证结果。
说明 当antibot_action字段的值为challenge和captcha时将记录该值。
  • challenge_fail:JS验证失败
  • challenge_pass:JS验证通过
  • captcha_fail:滑块验证失败
  • captcha_pass:滑块验证通过
block_action 触发防爬拦截的防护类型。该值固定为antibot
body_bytes_sent 发送给客户端的HTTP Body的字节数。
content_type 访问请求内容类型。
host 源网站。
http_cookie 访问请求头部中带有的访问来源客户端Cookie信息。
http_referer 访问请求头部中带有的访问请求的来源URL信息。若无来源URL信息,则显示短划线(-)。
http_user_agent 访问请求头部中的User Agent字段,一般包含来源客户端浏览器标识、操作系统标识等信息。
http_x_forwarded_for 访问请求头部中带有的XFF头信息,用于识别通过HTTP代理或负载均衡方式连接到Web服务器的客户端最原始的IP地址。
https 访问请求是否为HTTPS请求,其中:
  • true:HTTPS请求。
  • false:HTTP请求。
matched_host 匹配到的已接入Anti-Bot防护配置的域名,可能是泛域名。若无法匹配到相关域名配置,则显示短划线(-)。
real_client_ip 访问的客户端的真实IP。若无法获取到,则显示短划线(-)。
region Anti-Bot实例地域信息。
remote_addr 访问请求的客户端IP。
remote_port 访问请求的客户端端口。
request_length 访问请求长度,单位字节。
request_method 访问请求的HTTP请求方法。
request_path 请求的相对路径(不包含查询字符串)。
request_time_msec 访问请求时间,单位为毫秒。
request_traceid 访问请求唯一ID标识。
server_protocol 源站服务器响应的协议及版本号。
status 爬虫风险管理返回给客户端的HTTP响应状态信息。
time 访问请求的发生时间。
ua_browser 访问请求来源的浏览器信息。
ua_browser_family 访问请求来源所属浏览器系列。
ua_browser_type 访问请求来源的浏览器类型。
ua_browser_version 访问请求来源的浏览器版本。
ua_device_type 访问请求来源客户端的设备类型。
ua_os 访问请求来源客户端的操作系统信息。
ua_os_family 访问请求来源客户端所属操作系统系列。
upstream_addr Anti-Bot使用的回源地址列表,格式为IP:Port,多个地址用逗号(,)分隔。
upstream_ip 访问请求所对应的源站IP。例如,Anti-Bot回源到ECS的情况,该参数即返回源站ECS的IP。
upstream_response_time 源站响应Anti-Bot请求的时间,单位秒。如果返回短划线(-),代表响应超时。
upstream_status 源站返回给Anti-Bot的响应状态。如果返回短划线(-),表示没有响应(例如该请求被Anti-Bot拦截或源站响应超时)。
user_id 阿里云账号ID。
wxbb_action 当爬虫风险管理防护类型为App端增强防护时,执行的操作:
  • close:拦截,相当于antibot_action字段值为drop
  • test:仅观察记录,相当于antibot_action字段值为report
说明 如果未接入SDK防护,该字段值为短划线(-)。
wxbb_invalid_wua App端增强防护策略类型。
  • valid wua: 使用真机
  • simulator:使用模拟器
  • is proxy device:使用代理
  • wToken header not found:表示不存在wToken
  • vmp check failed:vmp签名校验失败
说明 其他的字段值对应一些具体的风险标签。由于该防护策略存在一定的误报率,如果没有出现大规模绕过的情况,一般不建议启用该防护策略。如果您需要针对特定类型进行拦截,请联系我们开启相应风险标签的拦截功能。