爱分享

robots关键词优化细节

来源:admin 2019-01-15 10:48:37417

在我看来robots协定就是站长行使网站安排权的履行文件,这是我们做关键词优化一定要优化的一个流程。它是搜刮引擎蜘蛛爬取网站之前要面对的第一道关隘,所以robots协定的主要性也是可想而知了。都说细节决定成败,那么越主要的器械细节就显得尤其主要,常常自己一不当心疏忽的一个细节到最后就可以够会成为你的致命一击。自己之所以会这么说,是因为我差点就成了这个后果的反面教材了,还好发明的及时也算是亡羊补牢吧!之所以想立刻分享给大年夜家,就是欲望大年夜家以后自己做站的时分要防止犯相似的毛病。

工作其实就爆发在明天,经过是如许的:因为小明SEO博客也刚做好不久,前几天网站上线以后发明还有很多小后果需求处理,为了防止网站还在调剂的过程当中就被搜刮引擎抓取到,所以我在robots协定外面写了避免一切搜刮引擎爬取网站任何局部的指令,网站的调剂不时继续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不知道这算不算强制症的一种),直到昨天也就是2月3号才单方面完工,然则这时候代我每天都在保持添加原创文章。昨天网站检查终了,全部后果都处理好以后,我就把robots协定从新更换了过去,而且发了一篇帖子引了蜘蛛欲望爬虫能快点过去爬我的网站。就如许,到了明天早上发明网站照样没有被收录,因而我就去百度站长对象平台看一下我的网站究竟是个甚么状况,出来一看吓我一跳,因为我看到了下面一则(如图所示)信息:


我的网站居然对百度停止了单方面封禁,检测时间是在明天(2月4号)早上凌晨5点整的时分,这让我像丈二的和尚摸不着脑筋了,太不迷信了,因为我在昨天2月3号上午曾经把网站的robots协定更改正去了,真的是太奇异了。就在我百思不得其解的时分总算是经过站长平台对象的“robots检测”找到了答案,看下图:


本来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协定,所以以后掉效的协定也就是事先它抓取到的我把蜘蛛全部樊篱时的阿谁,而本站最新的robot协定还没有掉效。这下我总算是明确了过去了,既然弄清晰了启事那工作就好办了。因而我立刻把协定提交更新了一下,以下图:


更新以后一分钟内协定就更新过去了,以下图:


可以看到,以后本站最新的robots曾经末尾掉效了,就如许到了下午,当我再次进入百度站长平台就收到了新音讯,以下图所示:


至此网站曾经消除robots协定对百度的单方面封禁,检测时间显示的是明世界午两点整。到了早晨也差不多就是在三个多小时之前,当我再次检查网站收录状况的时分,网站首页曾经被收录了。以下图:


网站终究被收录了,seo外包,但让我最高兴的照样我经过自己的尽力找到后果并处理了后果,这才是我明天十分的收获。固然了假设这个后果我发明不了,能够网站再过十天半个月也会毫无起色,所以我要提醒大年夜家的就是关于robots协定在封禁蜘蛛以后到前期在解封的时分必然要记得及时更新robots协定,这是一个不容被疏忽的小细节。或许依照自己的一贯常识认为只需经过输入“http:\\www.xiangrikui.co\robots.txt看一下网站的协定改正去了没有便可以了,然则经过实际证实这类方法也不是完整牢靠的,所以必然要记住我此次的经历经验,robots一旦停止调剂就必然要记得及时提交更新,否则被蜘蛛抓取了不应抓的或许不时把蜘蛛拒之门外耽误了自己的时间那就真的是悔恨莫及了。


温馨小提醒:刚才看了一下时间,曾经转钟到了第二天了,写这篇文章的时分是在2月4号,然则现在宣布的时间曾经转点到2月5号了,所以文章提到的“明天”也就是2月4号,欲望大年夜家不要看懵懂了。

文章推荐