全部产品
云市场

搜索引擎线路

更新时间:2020-03-12 16:44:05

概述

搜索引擎是指搜索引擎爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

应用场景

  • 网站被搜索引擎爬虫访问会耗费服务器的流量和带宽,可通过在搜索引擎线路专门指向一个服务器地址,从而有效的控制蜘蛛的爬取路径。

  • 临时闭站做SEO收录排名保护,可通过搜索引擎线路设置个搜索引擎专线,这样虽然站点关闭,但是蜘蛛爬虫还可以正常抓取网站信息,从而达到降低对站点SEO收入排名影响。

设置方法

例如为百度蜘蛛爬虫,指向专属的服务器IP地址2.2.2.2。此设置的效果是:百度蜘蛛会和服务器2.2.2.2 建立连接,访问并收集网页上的内容、图片等信息,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

1 . 登录 云解析DNS控制台

2 . 在域名解析页面,全部域名页签下,单击域名,进入解析设置页面。
目录

3 . 在解析设置页面,单击 添加解析,点击解析线路的下拉框,选择需要配置的搜索引擎线路类型。
添加记录按钮
搜索引擎解析线路

常见问题

1、 搜索引擎线路需要单独收费吗?

答: 免费。

2、搜索引擎线路都支持哪些搜索引擎商?

答:搜索引擎、谷歌、百度、必应、有道

3、为什么会出现搜索爬虫没有抓取到搜索引擎配置的线路?

答:以百度爬虫举例,如果百度爬虫服务器的本地DNS使用的不是百度的localdns,那么当DNS查询时,就会出现百度搜索爬虫无法抓取到搜索引擎配置的线路。如下图示例

搜索引擎原理