当前位置:首页 > SEO教程 » 正文:网站优化中robots协议容易被忽略的致命小细节

网站优化中robots协议容易被忽略的致命小细节

22 人参与  2018年04月02日  分类 : SEO教程     评论     

网站优化中robots协议容易被忽略的致命小细节

在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就显得尤为重要,往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。本人之所以会这么说,是因为我差点就成了这个问题的反面教材了,还好发现的及时也算是亡羊补牢吧!之所以想立即分享给大家,就是希望大家以后自己做站的时候要避免犯类似的错误。而关于robots怎么写可以参考这篇文章《robots.txt应该怎么写?来看看顶级网站优化高手的操作手法?》

事情其实就发生在今天,经过是这样的:那时朋友小明SEO博客也刚做好不久,前几天网站上线之后发现还有很多小问题需要处理,为了避免网站还在调整的过程中就被搜索引擎抓取到,所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调整一直持续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不知道这算不算强迫症的一种),直到昨天也就是2月3号才全面竣工,但是这期间我每天都在坚持添加原创文章。昨天网站检查完毕,全部问题都解决好以后,我就把robots协议重新更换了过来,并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样,到了今天早上发现网站还是没有被收录,于是我就去百度站长工具平台看一下我的网站到底是个什么情况,进去一看吓我一跳,因为我看到了下面一则(如图所示)信息:

 image.png

        robots协议

我的网站竟然对百度进行了全面封禁,检测时间是在今天(2月4号)早上凌晨5点整的时候,这让我像丈二的和尚摸不着头脑了,太不科学了,因为我在昨天2月3号上午已经把网站的robots协议更改过来了,真的是太奇怪了。就在我百思不得其解的时候总算是通过站长平台工具的“robots检测”找到了答案,看下图:

 image.png

        robots检测

原来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议,所以当前生效的协议也就是当时它抓取到的我把蜘蛛全部屏蔽时的那个,而本站最新的robot协议还没有生效。这下我总算是明白了过来了,既然弄清楚了原因那事情就好办了。于是我立即把协议提交更新了一下,如下图:

 image.png

        提交更新

更新以后一分钟内协议就更新过来了,如下图:

 image.png

        更新提交

可以看到,当前本站最新的robots已经开始生效了,就这样到了下午,当我再次进入百度站长平台就收到了新消息,如下图所示:

 image.png

        网站解封

至此网站已经解除了robots协议对百度的全面封禁,检测时间显示的是今天下午两点整。到了晚上也差不多就是在三个多小时以前,当我再次检查网站收录情况的时候,网站首页已经被收录了。如下图:

 image.png

        网站收录

网站终于被收录了,但让我最开心的还是我通过自己的努力找到问题并解决了问题,这才是我今天最大的收获。当然了如果这个问题我发现不了,可能网站再过十天半个月也会毫无起色,所以我要提醒大家的就是关于robots协议在封禁蜘蛛之后到后期在解封的时候一定要记得及时更新robots协议,这是一个不容被忽视的小细节。也许按照自己的一贯常识觉得只要通过输入“http:\\域名\robots.txt看一下网站的协议改过来了没有就可以了,但是通过实践证明这种方式也不是完全可靠的,所以一定要记住我这次的经验教训,robots一旦进行调整就一定要记得及时提交更新,不然被蜘蛛抓取了不该抓的或者一直把蜘蛛拒之门外耽误了自己的时间那就真的是后悔莫及了。

本文地址:http://seoxss.com/mu/l96.html

相关阅读

无相关信息
1楼冯弘  2018年09月18日 15:25:29
速度快,老师写的好。已经用上了,很满意,赠人玫瑰手有余香,,海波 合格!,,个差评是什么人下单的,支持店家,
顶: 95412 回复
2楼王梦茜  2018年09月18日 14:30:34
家可以选择相信下单。文章写出来质量还是不错的,,刚开始闹了一点小矛盾,给发错了。,南山陶醉老师好评,写手认真,效率高,
顶: 16366 回复
3楼马世俊  2018年09月18日 14:21:05
写得非常一般,老顾客了 服务很好,刚开始闹了一点小矛盾,给发错了。,比较网上淘宝店铺代写骗子这么,我之前看评论说给好评给全,
顶: 19564 回复
4楼载湉  2018年09月18日 14:17:08
多次合作 很满意,南山陶醉老师好评,写手好像赶场那样,赶着完成任务,
顶: 88692 回复
5楼汉高祖刘邦  2018年09月18日 13:29:44
差强人意,哈哈哈我有点想加入你们团队了,了解用途需求后写出来,真心不错,写的还行吧,审核勉强过了我只能说,
顶: 82364 回复
6楼夏东东  2018年09月18日 12:36:17
海波 合格!,字超好的,鞋子挺好哒,
顶: 67062 回复
7楼李康乐  2018年09月18日 12:03:56
多次合作 很满意,很好,下次再来。,度也是耐心,文章也是顺利通过。真心不知道内几,我之前看评论说给好评给全,
顶: 78542 回复
8楼卫嗣伯  2018年09月18日 11:26:20
并没有强迫给好评啊。这个店铺质量还是可以的,大,刚开始闹了一点小矛盾,给发错了。,多次合作 很满意,感谢您对我们工作的支持与信任,在茫茫的人海中您选择了我们,,,
顶: 29771 回复
9楼卢滑滑  2018年09月18日 10:41:01
小李老师很好 棒棒的,海波 合格!,,
顶: 53217 回复
10楼魔法学园  2018年09月18日 09:59:24
个差评是什么人下单的,支持店家,喜欢,超级喜欢,老师太有才华了,写手好像赶场那样,赶着完成任务,
顶: 76493 回复
11楼杜欢  2018年09月18日 09:38:39
多次合作 很满意,多,这个唯一一个天猫店铺。质量真的挺认可的,,自己百度了一下,不是百度稿,挺好的。,
顶: 60747 回复
12楼陈成成  2018年09月18日 09:16:45
小李老师很好 棒棒的,文章里略微有些细节错误,别的都很好,您的肯定与信赖是我们成长道路上的基石,让我们走向彼岸的高峰,,多次合作 很满意,写的文章非常满意,非常及时。推荐大家选择哦,
顶: 54122 回复
13楼李淑贞  2018年09月18日 09:09:50
小李老师很好 棒棒的,速度快,效率高。,刚开始闹了一点小矛盾,给发错了。,文章写的很好,写之前跟买家充分沟通,,文采很好,客服热情赞,
顶: 33064 回复
14楼周万  2018年09月18日 08:12:28
比较网上淘宝店铺代写骗子这么,很满意,服务态度很好,了解用途需求后写出来,真心不错,
顶: 87149 回复
15楼李院  2018年09月18日 07:40:49
还不错,服务态度也挺好的,字超好的,感谢您对我们工作的支持与信任,在茫茫的人海中您选择了我们,,老顾客了 服务很好,文章里略微有些细节错误,别的都很好,
顶: 52782 回复
<< 上一篇 下一篇 >>

上海SEO小松网站优化

近期热门

热门标签

最新文章