全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
云解析

搜索引擎线路

更新时间:2017-11-24 11:59:07

(1)什么场景下会使用搜索引擎线路?


这里的搜索引擎是指搜索引擎爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

场景1:如果您的企业有多台服务器,希望其中一台服务器专门应用于市场上的各类搜索引擎爬虫来抓取网站信息,此方法可以有效地控制蜘蛛的爬取路径,来缓解主站因蜘蛛爬虫带来的耗费带宽与流量、网站访问速度慢等问题。

场景2:如果要关停网站会影响到市场上各类搜索引擎的收录和权重,此种场景可以直接将默认更改为搜索引擎线路即可。

(2)搜索引擎线路的添加


搜索引擎:此搜索引擎线路是一条总线路,如设置则包含谷歌、百度、必应。举例:设置解析记录为 www 搜索引擎线路,指向1.1.1.1。

设置解析记录为 www谷歌,指向2.2.2.2。

则最终的效果是,来源谷歌爬虫的,会从2.2.2.2上抓取网站信息。来源于其他如百度、必应的则向1.1.1.1上抓取网站信息,如果来源不属于百度、必应、谷歌的,则走默认线路。

谷歌:设置了谷歌线路,则谷歌蜘蛛爬虫会到此条记录的返回的地址上抓取网站信息,其余来源则走默认线路。百度:设置了百度线路,则百度蜘蛛爬虫会到此条记录的返回的地址上抓取网站信息,,其余来源则走默认线路。必应:设置了必应线路,则百度蜘蛛爬虫会到此条记录的返回的地址上抓取网站信息,其余来源则走默认线路。

(2)搜索引擎线路的设置说明


1、点击“添加解析”

2、点解”解析线路”

3、根据您的需求选择搜索引擎线路(例如百度、谷歌、必应等)

搜索引擎线路

本文导读目录