文档

搜索引擎线路

更新时间:

概述

搜索引擎是指搜索引擎爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则、自动地抓取万维网信息的程序或者脚本。

应用场景

  • 网站被搜索引擎爬虫访问会耗费服务器的流量和带宽,可通过设置搜索引擎线路专门指向一个服务器地址,将来自搜索引擎爬虫的DNS请求指向该服务器地址。从而有效地控制爬虫的爬取路径。

  • 临时闭站做SEO收录排名保护,可通过搜索引擎线路设置个搜索引擎专线,这样虽然站点关闭,但是蜘蛛爬虫还可以正常抓取网站信息,从而达到降低对站点SEO收入排名影响。

设置方法

例如将百度蜘蛛爬虫的请求指向专属的服务器IP地址192.0.2.0。此设置的效果是:百度蜘蛛会和服务器192.0.2.0 建立连接,访问并收集网页上的内容、图片等信息,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

  1. 登录 云解析DNS控制台

  2. 域名解析 页面,权威域名 页签下,单击目标域名,进入 解析设置 页面。

  3. 在解析设置页面,单击 添加记录 ,在添加记录弹框中单击 解析请求来源 的下拉框,选择需要配置的搜索引擎线路类型。完成所有配置参数后单击 确认

    image

常见问题

  1. 搜索引擎线路需要单独收费吗?

    答: 免费。

  2. 使用google浏览器访问,为何没有命中搜索引擎线路?

    答:搜索引擎线路是指搜索引擎爬虫所用LocalDNS出口IP,跟浏览器所用的LocalDNS出口IP不一样。

  3. 搜索引擎线路都支持哪些搜索引擎商?

    答:谷歌、百度、必应、有道。

  4. 为什么会出现搜索爬虫没有抓取到搜索引擎配置的线路?

    答:以百度爬虫举例,如果百度爬虫服务器的本地DNS使用的不是百度的localdns,那么当DNS查询时,就会出现百度搜索爬虫无法抓取到搜索引擎配置的线路。

    image