搜索引擎线路

概述

搜索引擎是指搜索引擎爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则、自动地抓取万维网信息的程序或者脚本。

应用场景

• 网站被搜索引擎爬虫访问会耗费服务器的流量和带宽，可通过设置搜索引擎线路专门指向一个服务器地址，将来自搜索引擎爬虫的DNS请求指向该服务器地址。从而有效地控制爬虫的爬取路径。

• 临时闭站做SEO收录排名保护，可通过搜索引擎线路设置个搜索引擎专线，这样虽然站点关闭，但是蜘蛛爬虫还可以正常抓取网站信息，从而达到降低对站点SEO收入排名影响。

设置方法

例如将百度蜘蛛爬虫的请求指向专属的服务器IP地址192.0.2.0。此设置的效果是：百度蜘蛛会和服务器192.0.2.0 建立连接，访问并收集网页上的内容、图片等信息，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

1. 登录 云解析DNS控制台。

2. 在 域名解析 页面，权威域名 页签下，单击目标域名，进入 解析设置 页面。

3. 在解析设置页面，单击 添加记录 ，在添加记录弹框中单击 解析请求来源 的下拉框，选择需要配置的搜索引擎线路类型。完成所有配置参数后单击 确认 。

   

常见问题

1. 搜索引擎线路需要单独收费吗？

   答： 免费。

2. 使用google浏览器访问，为何没有命中搜索引擎线路？

   答：搜索引擎线路是指搜索引擎爬虫所用LocalDNS出口IP，跟浏览器所用的LocalDNS出口IP不一样。

3. 搜索引擎线路都支持哪些搜索引擎商？

   答：谷歌、百度、必应、有道。

4. 为什么会出现搜索爬虫没有抓取到搜索引擎配置的线路？

   答：以百度爬虫举例，如果百度爬虫服务器的本地DNS使用的不是百度的localdns，那么当DNS查询时，就会出现百度搜索爬虫无法抓取到搜索引擎配置的线路。