ASP300源码

网站模板 > 站长学堂 > 搜索引擎

网站因为改版或者刚上线禁用robots之后恢复

2016-11-08 【合肥空调移机
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件,这个文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。通常网站在开发阶段或者升级都会通过robots.txt来封禁搜索引擎的抓取,这虽然能避免蜘蛛抓取不必要的页面,但也对网站完全后的收录造成一定的影响,蜘蛛迟迟不来抓取。今天在百度站长平台看到有这方面的介绍,于是引用过来。

【处理方式】

1.修改Robots封禁为允许,然后到百度站长后台检测并更新Robots。
2.在百度站长后台抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。
3.在百度站长后台抓取频次,申请抓取频次上调。
4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。
5.百度站长后台链接提交处,设置数据主动推送(实时)。
6.更新sitemap网站地图,重新提交百度,每天手工提交一次。
通过以上的处理后,接下来就是等待了。