概述
搜索引擎是指搜索引擎爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则自动抓取万维网信息的程序或者脚本。
应用场景
网站被搜索引擎爬虫访问会耗费服务器的流量和带宽,可通过设置搜索引擎线路专门指向一个服务器地址,将来自搜索引擎爬虫的DNS请求指向该服务器地址。从而有效地控制爬虫的爬取路径。
临时闭站做SEO收录排名保护,可通过搜索引擎线路设置个搜索引擎专线,这样虽然站点关闭,但是蜘蛛爬虫还可以正常抓取网站信息,从而达到降低对站点SEO收入排名影响的目的。
搜索引擎线路枚举
一级线路(线路CODE) | 二级线路(线路CODE) | 三级线路(线路CODE) |
搜索引擎(search) | 谷歌(google) | 谷歌_中国内地(cn_search_google) |
谷歌_境外(os_search_google) | ||
百度(baidu ) | 百度_中国内地(cn_search_baidu) | |
百度_境外(os_search_baidu) | ||
必应 (biying) | 必应_中国内地(cn_search_biying) | |
必应_境外(os_search_biying) | ||
搜狗(sougou) | 搜狗_中国内地(cn_search_sougou) | |
搜狗_境外(os_search_sougou) | ||
奇虎(qihu) | 奇虎_中国内地(cn_search_qihu) | |
奇虎_境外(os_search_qihu) | ||
有道 (youdao) | 有道_中国内地(cn_search_youdao) | |
有道_境外(os_search_youdao) | ||
雅虎(yahoo) | 雅虎_中国内地(cn_search_yahoo) | |
雅虎_境外(os_search_yahoo) |
常见问题
使用google浏览器访问,为何没有命中搜索引擎线路?
答:搜索引擎线路是指搜索引擎爬虫所用LocalDNS出口IP,跟浏览器所用的LocalDNS出口IP不一样。
为什么会出现搜索爬虫没有抓取到搜索引擎配置的线路?
答:以百度爬虫举例,如果百度爬虫服务器的本地DNS使用的不是百度的localdns,那么当DNS查询时,就会出现百度搜索爬虫无法抓取到搜索引擎配置的线路。