网站的连接层次一般较深,爬虫很难抓取到,使用站点地图功能,通过抓取网站页面,可清晰的了解网站架构。本文旨在介绍如何使用站点地图设置,帮您自动生成站点地图文件。

背景信息

站点地图就是根据网站的结构、框架、内容,生成的导航网页文件,一般存放在根目录下并命名sitemap,为爬虫指路,增加网站重要内容页面的收录。
  1. 进入站点地图页面:在产品控制台左侧的导航栏中单击网站管理 > 网站地图
  2. 设置网站地图:可选择页面或者文章或者产品进行设置,可设置四项,分别是添加操作、删除操作、设置权重、设置更新频率,确认无误后可单击保存并更新,即可更新到目前发布的网站上。
说明 若您已拥有sitemap文件,可单击手动上传,完成上传站点地图文件操作。