搜索引擎线路

概述

搜索引擎是指搜索引擎爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则自动抓取万维网信息的程序或者脚本。

应用场景

  • 网站被搜索引擎爬虫访问会耗费服务器的流量和带宽,可通过设置搜索引擎线路专门指向一个服务器地址,将来自搜索引擎爬虫的DNS请求指向该服务器地址。从而有效地控制爬虫的爬取路径。

  • 临时闭站做SEO收录排名保护,可通过搜索引擎线路设置个搜索引擎专线,这样虽然站点关闭,但是蜘蛛爬虫还可以正常抓取网站信息,从而达到降低对站点SEO收入排名影响的目的。

搜索引擎线路枚举

一级线路(线路CODE)

二级线路(线路CODE)

三级线路(线路CODE)

搜索引擎(search)

谷歌(google)

谷歌_中国内地(cn_search_google)

谷歌_境外(os_search_google)

百度(baidu )

百度_中国内地(cn_search_baidu)

百度_境外(os_search_baidu)

必应 (biying)

必应_中国内地(cn_search_biying)

必应_境外(os_search_biying)

搜狗(sougou)

搜狗_中国内地(cn_search_sougou)

搜狗_境外(os_search_sougou)

奇虎(qihu)

奇虎_中国内地(cn_search_qihu)

奇虎_境外(os_search_qihu)

有道 (youdao)

有道_中国内地(cn_search_youdao)

有道_境外(os_search_youdao)

雅虎(yahoo)

雅虎_中国内地(cn_search_yahoo)

雅虎_境外(os_search_yahoo)

常见问题

  1. 使用google浏览器访问,为何没有命中搜索引擎线路?

    答:搜索引擎线路是指搜索引擎爬虫所用LocalDNS出口IP,跟浏览器所用的LocalDNS出口IP不一样。

  2. 为什么会出现搜索爬虫没有抓取到搜索引擎配置的线路?

    答:以百度爬虫举例,如果百度爬虫服务器的本地DNS使用的不是百度的localdns,那么当DNS查询时,就会出现百度搜索爬虫无法抓取到搜索引擎配置的线路。

    image