在我们开始做SEO优化的时候，就已经认识到一些网站特殊的属性的应用，比如robots.txt、nofollow标签、h标签等等一类的，而robots.txt文件在网站优化也是很重要，同时又是很容易被忽视的一个细节。很多站长在优化过程中过于忽视或者错误的设置了robots.txt文件而造成了很多不必要的损失。那么在网站错误的使用了robots该怎么办呢？是否有挽回办法呢？今天就有我凭借自身的经验来为大家分享一下我的观点。

首先要说起我在做这个博客的时候，刚开始建设的时候。我直接是网站上线状态安装修改的，因为之前有一定了解，所以我首先给网站添加了一个robots.txt文件，以此方式在防止在网站没有完全修改好的情况下被百度抓取到测试改版的页面。

网站修改了大概半个月的时间，正式上线了，因为之前填充了足够的内容，相信百度很快就会收录，因为一些其他的工作，也没有即是的关注博客百度的收录情况，大概这样过了三天的样子，我满怀喜悦的通过站长工具去查看百度收录的状况，当看到收录为0的时候整个人瞬间都不好了。因为网站填充了很多文章，按照这样的方法应该上线不久就会有很多收录的。而且文章都是我原创的，相信应该不会是被百度判定为重复过高的内容或者垃圾内容了，这个时候我马上查看网站日志，奇迹的一幕发生了，居然没有蜘蛛来访问。

通过分析我首先把实现锁定了robots.txt的设置上，虽然说在网站正式上线的时候我解除了robots的禁止抓取设置，但是百度因为我网站长时间处于禁止抓取状态，蜘蛛抓取网站的频率从而大大的减少，也就是原来一天抓取N次，现在变成可能N天才抓取一次。

找到问题就要想处理办法：

1. 修改robots封禁为允许，然后到百度站长后台检测并更新robots。
2. 在百度站长后台抓取检测，触发蜘蛛抓取站点。
3. 将百度站长后台的抓取频次申请上调。
4. 更新sitemap网站地图，并手工提交到百度。
5. 百度站长后台链接提交处设置数据主动推送。
6. 发布外链将引蜘蛛爬行文章页面，如何建设外链在我另一篇文章()

郑州SEO点评：

通过以上的办法处理，剩下的就是更新内容与等待收录了，庆幸的是在两天后，网站的收录开始慢慢增加，吊着的小心脏终于落下来了。通过上面的问题提醒大家，robots一定要合理的使用，否则会对网站造成不必要的损失。

未经允许不得转载： »