搜索引擎线路
概述 搜索引擎是指搜索引擎爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则、自动地抓取万维网信息的程序或者脚本。应用场景 网站被搜索引擎爬虫访问会耗费服务器的流量和带宽，可通过设置 搜索引擎线路 专门指向一个服务器...
概述
恶意爬虫的特征和危害 正常爬虫请求的 user-agent 字段中通常包含 xxspider 标识，并且爬取的请求量不大，爬取的URL和时间段都比较分散。如果对合法的爬虫IP执行反向 nslookup 或 tracert，一般都可以看到爬虫的来源地址。例如，对百度的...
设置合法爬虫规则
合法爬虫功能提供合法搜索引擎白名单（例如Google、Bing、百度、搜狗、Yandex等），为域名放行合法爬虫的访问请求。前提条件 已开通Web应用防火墙实例，且实例满足以下要求：包年包月实例：已开启 Bot管理 模块。按量计费实例：已在 账单与...
暴力破解攻击防御方案
方案优势 充分利用阿里云在安全领域里的情报汇聚能力：通过跨多行业的爬虫行为分析，利用关系网络实现恶意爬虫的扩充发现。爬虫在行业性业务目的方面非常明确，利用生态体系达成行业内协同防御。沉淀网络黑灰产业中已知常用的针对性恶意...
概述
设置合法爬虫规则 爬虫威胁情报 基于云平台强大的计算能力，提供拨号池IP、IDC机房IP、恶意扫描工具IP以及云端实时模型生成的恶意爬虫库等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。接入后手动...
bot-detect插件
bot-detect插件可以用于识别并阻止互联网爬虫对站点资源的爬取。本文介绍如何配置bot-detect插件。插件类型 安全防护。配置字段 名称 数据类型 填写要求 默认值 描述 allow array of string 选填。配置匹配User-Agent请求头的正则表达式，...
网站防护最佳实践
爬虫威胁情报：提供拨号池IP、IDC机房IP、恶意扫描工具IP以及云端实时模型生成的恶意爬虫库等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。操作导航：在 网站防护 页面，单击 Bot管理 页签，定位到...
Robots.txt
Robots.txt主要针对爬虫技术，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限。本文旨在介绍添加Robots.txt的途径。背景信息 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点的根目录下是否存在Robots.txt，如果存在，搜索蜘蛛...
当探测请求被误识别成攻击或爬虫时，如何给探测请求...
如果您发现探测连接的目标IP地址是一个安全防火墙产品，则请优先排查是否因为防火墙产品的安全策略将探测请求误识别成攻击或爬虫的情况，如果是，则请给该探测请求加白。处理方法 探测请求是否被防火墙产品的安全策略误识别成攻击或爬虫，...
配置Bot管理
通过配置Bot管理，您可以设置对应的防爬规则，为浏览器网页、H5页面或基于iOS/Android原生开发的App提供防爬功能。前提条件 已开通边缘WAF服务。具体操作，请参见 开通边缘WAF。已将域名添加为边缘WAF的防护对象。具体操作，请参见 接入...
Robots.txt
Robots.txt主要针对爬虫技术，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限。本文旨在介绍添加Robots.txt的途径。背景信息 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点的根目录下是否存在Robots.txt，如果存在，搜索蜘蛛...
CC攻击防护最佳实践
请求特征畸形或不合理 由于很多CC攻击请求是攻击者随意构造的，在仔细观察日志后，往往会发现这些请求有很多与正常请求不相符的畸形报文特征。常见的畸形报文特征包括：user-agent异常或畸形：例如，包含Python等自动化工具特征、明显格式...
网站管理常见问题
Robots协议（也称为爬虫协议、机器人协议等）的全称是网络爬虫排除标准（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。避免出现网站被爬虫访问，导致耗费大量流量和宽带的问题。关于...
账户安全最佳实践
使用验证码（适用于普通网页或H5）为普通PC页面或H5页面启用验证码是防护重点接口的最简单和有效的手段。接入验证码服务通常需要您在业务代码中做少许改动，一般一至二个工作日即可完成。一般的验证码能够有效拦截使用简单工具脚本发起的...
开通和配置Bot管理
如果您的业务存在因自动化工具（例如脚本、模拟器等）造成网站数据被爬取、业务作弊或欺诈、撞库或垃圾注册、恶意秒杀或薅羊毛、短信接口滥刷等情况，您可以开通 Web 应用防火墙 WAF（Web Application Firewall）Bot管理，根据机器流量分析...
ModifyProtectionModuleRule
定向路径爬虫识别算法（PR）对应的配置信息应包含以下子参数：keyPathConfiguration：Array类型|可选|请求的路径信息，支持指定最多10条路径，只在使用定向路径爬虫识别算法时需传入该子参数。以JSON字符串格式表示。具体包含以下参数：...
解析线路枚举
search 搜索引擎 google 谷歌 baidu 百度 biying 必应 youdao 有道 yahoo 雅虎 说明 搜索引擎是指搜索引擎爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则、自动地抓取万维网信息的程序或者脚本。所以当您需要将搜索引擎爬虫...
设置CC安全防护
拦截爬虫 如果在某段时间内，您发现网站的访问流量中有大量爬虫请求，若不排除是攻击傀儡机模拟爬虫进行CC攻击，则可以对爬虫的请求执行拦截操作。规则配置示例如下。防盗链 当浏览器访问某个网页时，会带上Referer字段，告诉服务器该请求...
配置浏览器访问网页的防爬场景化规则
您可以基于实际业务场景对防爬规则进行场景化定制，更有针对性地对业务进行爬虫风险防护。本文介绍如何配置浏览器访问网页场景的防爬场景化规则。背景信息 防爬场景化配置功能支持基于不同业务场景定制防爬规则，结合智能算法，精准识别...
WAF安全报表
关于Bot管理的设置方法，请参见以下文档：配置浏览器访问网页的防爬场景化规则 设置合法爬虫规则 设置爬虫威胁情报规则 设置App防护 访问控制/限流报表说明 访问控制/限流 报表展示触发了 CC安全防护、扫描防护 和 访问控制 规则的Web请求...
申请免费试用WAF
如果您的Web业务（例如网站、App等）面临Web通用攻击、应用资源消耗型攻击、爬虫攻击等威胁，推荐您参照本文介绍试用WAF，体验WAF提供的一站式应用安全解决方案。本文介绍如何申请免费试用WAF。使用须知 WAF试用服务面向 未开通WAF 的用户...
WAF日志字段
false algorithm_action 客户端请求命中的典型爬虫行为识别规则对应的防护动作。取值：block：表示拦截。captcha：表示普通滑块验证。js：表示JS验证。captcha_pass：表示客户端通过了普通滑块验证，WAF放行客户端请求。js_pass：表示客户...
对话机器人接入渠道
功能概述 网页渠道中引入对话机器人通义版，基于大模型能力，通过文档上传或网页链接快速生成智能接待助手。同时支持顺滑转人工能力。支持通过对话机器人渠道ID进行匹配，在原有对话机器人渠道部署服务窗中实现转人工服务。功能入口 点击...
配置App防爬场景化规则
重要 如果不确定您设备的公网IP，可以通过本页面提示信息中的网络诊断工具或在线IP查询工具进行查询。SDK签名验证：单击 去测试，验证该App的SDK签名是否正常。说明 请务必使用已经集成好App防护SDK的真实设备进行测试，否则会导致验证签名...
联络中心渠道中接入对话机器人
1.什么是智能对话机器人 阿里云智能对话机器人，是阿里巴巴自研的新一代智能人机对话系统，适用于智能客服、智能办公助理等场景，能替代人工解决大部分咨询问题。企业可通过SaaS控制台可视化配置，也可通过开放API灵活集成定制。有关产品...
CreateSpider-新增网站导入任务
新增网站任务。URL POST/v4/openapi/app-groups/[appGroupIdentity]/chatos/spiders[app_group_identity]：表示应用名（需要指定应用名访问，主要针对服务中的应用版本）。以上 URL 省略了请求Header...一个应用只能有一个running的爬虫任务。
申请流量统计报告
单击 查看报告，您可以查看详细的报告信息，快速了解网站访问的具体信息，例如网站的参观者信息、主机信息以及搜索引擎网站的机器人等。具体操作，请参见 查看流量统计报告。单击 关闭报告，关闭报告后不支持查看流量统计报告了，如果需要...
LoRaWAN智能厕所
本实践推荐使用阿里云物联网...如果设备已经上线，则可以直接看到机器人的消息推送，实现厕所使用状态的实时推送了，如下图所示。如果需要把厕所的使用状况使用TableStore，云数据库MySQL等云产品存储起来，可以使用存储节点。最终结果如图：
查看流量统计报告
背景信息 流量统计报告通常包括参观者的国家或地区、最近参观日期、搜索引擎网站的机器人、获取网页链接的方式、参观的网页数与参观次数、操作系统以及浏览器版本等信息。操作步骤 重要 只有在网站可正常访问状态下，流量统计报告才会有...
Bot管理
Bot管理支持您灵活配置对不同特征的请求做爬虫挑战，也支持您直接使用系统内置的爬虫库（搜索引擎爬虫、AI智能防护、爬虫威胁情报库、IDC黑名单、伪造蜘蛛名单等）而无需自己手动分析和更新爬虫特征。不同套餐的支持情况 基础版 标准版 ...
套餐和版本说明
爬虫威胁情报 提供拨号池IP、IDC机房IP、恶意扫描工具IP以及云端实时模型生成的恶意爬虫库等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。App防护 专门针对原生App端，提供可信通信，防机器脚本滥...
使用CDN后对网站的SEO是否存在影响
在CDN不稳定、因为受到恶意攻击出现更换IP地址的情况下，由于DNS缓存出现问题或者爬虫本身的缓存问题，导致爬虫的访问出现异常，对SEO会有一定的影响。如果保证前面的两点对SEO实际是有促进作用的，主要体现在以下两个方面。使用CDN之后，...
通知设置
企业内部应用机器人创建并发布后，您可以在钉钉群中，进入 群设置>机器人>机器人管理，查看机器人的Webhook地址。操作步骤 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含中国）。在左侧导航栏，...
设置爬虫威胁情报规则
爬虫威胁情报功能提供拨号池IP、IDC机房IP、恶意扫描工具IP以及云端实时模型生成的恶意爬虫库等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。前提条件 已开通Web应用防火墙实例，且实例满足以下...
使用ClassicLink
专有网络VPC（Virtual Private Cloud）提供ClassicLink功能，使经典网络的ECS实例可以和专有网络中的云资源通过内网互通。背景信息 ClassicLink可以实现经典网络的ECS实例访问已连接的VPC内的云资源，包括ECS实例、RDS实例、SLB实例等。VPC...
云数据库混访概述
云数据库混访即支持同时被经典网络和专有网络中的ECS访问。在使用混访混挂方案将经典网络迁移至专有网络时，您需要将云数据库切换至混访模式（即同时保留经典网络和专有网络的访问地址），这样可避免迁移过程中业务中断。在进行网络类型...
云数据库Redis版网络切换
本文档介绍了如何通过控制台和API将云数据库Redis版的网络类型由经典网络切换至专有网络，同时保留经典网络的访问地址。经典网络的访问地址有保留时间限制，您可以根据需要指定保留期限。到期后，经典网络地址会自动被系统删除。前提条件 ...
使用专有网络VPC访问控制功能
概述 专有网络VPC支持的访问控制功能包括：网络ACL：网络ACL是专有网络VPC中的网络访问控制功能。您可以在专有网络VPC中创建网络ACL并添加入方向和出方向规则。创建网络ACL后，您可以将网络ACL与交换机绑定，实现对交换机中ECS实例流量的...
混访混挂迁移示例
专有网络和经典网络存在很大的不同，除了安全隔离外，专有网络使您在云上具备了网络管理能力，但这些管理需要使用相关的网络产品实现。本文档中的迁移示例仅供参考，很多系统都比迁移示例的系统复杂。在迁移前需要仔细评估，梳理系统依赖，...
创建和管理网络ACL
当您创建IPv6类型的网络ACL规则时，您需要为VPC开通IPv6网段，且IPv6类型的网络ACL只有 菲律宾（马尼拉）、德国（法兰克福）地域可用。具体操作，请参见 VPC开通IPv6。创建网络ACL 登录 专有网络管理控制台。在左侧导航栏，选择 访问控制>...
- 产品推荐
- 这些文档可能帮助您