2020年百度蜘蛛抓取时间查询(百度网页抓取时间)

前段时间谈了下小向个人对Robots.txt的理解，其中说了两个推理，1、百度对Robots.txt 的抓取频率是一个周期右左　2、百度对Robots.txt的抓取是由IP抓取，而不是按域名、说实话小向也不是一个死板或钻牛角的人，我在上篇“百度对Robots.txt抓取时间分析报告”中说了，那当第一次我们可以说是偶然、第二次是运气、那第三次了、而如果接下来的第四次更新同样是这样! 我们就不得不说这个实验得以成立，而现在了是否真成立了?

百度快照：2010-10-6号(同样的10月6号)

又是同样的四个站，同样的时候快照，呵!巧合吧，可能有个网站会隔天快照(http://www.lcch.cn)，但是其它三个网站是同时更新快照。小向从上篇“百度对Robots.txt抓取时间分析报告”中分析到了，百度对Robots.txt的抓取可能是由IP来抓取，但对内容的抓取一定是域名，这点不可否认! 但在什么情况下百度会对Robots.txt抓取了，我们也总结了：百度对Robots.txt 的抓取频率是一个周期右左。　　我们现在知道了百度是如何对Robots.txt抓取的，也知道了他的抓取周期是多久，那么百度对Robots.txt的生效周期是多久了?　　在百度站长俱乐部俱乐部中，一直有朋友在问“百度对Robots.txt的生效时间是多久”或“百度对301的跳转又是多久”，但是始终没有一个很好的回复!那么这个生效周期是多久了!我们研究Robots.txt 不就是为了利用Robots.txt来屏蔽内容，让SE不能抓取，但是如果不生效也一样达不到效果。　　那么百度对Robots的抓取生效周期是多久了，前段时间在写Robots分析报告中，有的朋友说要DJ小向用IIS日志来证明一些推理，这样来说很容易让人信服，其实很多时间小向都想用他们来做推理证明，但是因为某些原因，如果我就摆几个IIS日志图片放那里，不做一些说明，那么很多SEO的朋友都会看不懂，毕竟其中还有很多东西你不知道，只要操作者知道，所以一直以来都是用一种比较容易理解的方式来写文章。　　想了解百度对Robots.txt的生效周期，我们首先需要了解“百度是否抓取了你的Robots”、我们撇开其它条件来研究Robots，那么你是否知道你的网站有没有被百度抓取到Robots.txt了，可能很的朋友会说，“百度快照了，应该Robots就会被抓取吧”，还有的朋友会说“百度对Robots的爬取周期不是一个周期”，可能有很多种说法，但有一点DJ小向应该提醒大家“抓取”、在很多朋友的眼里面就只为一种解释，其实“抓取”是分两种的：一种是“爬取”，更一种是“抓取”，而往往有些时候对搜索引擎来说，可能对内容只是爬取过，但没有抓取! 一样没有用或者说只爬取了内容、没有上抓取，怎么会有收录了。

解封Robots.txt后，百度一直不抓取

自使用了Robots屏蔽了网站，然后到新站上线(解封了Robots)，已经有15天左右了，百度一直不收录，而不收录的同时，从来没有百度蜘蛛抓取!

9月25号，百度蜘蛛终于对Robots进行了抓取

经过三个周期的变化，百度对网站Robots文件进行了抓取，同时也是从网站上线到现在百度第一次抓取!虽然百度对Robots进行了抓取，那么百度对Robots的生效时间会是多久了，9月26号依然一样，没有百度蜘蛛抓取。

9月27日，百度蜘蛛对网站内容有了抓取

25号的百度蜘蛛对Robots.txt进行了抓取，而27号百度对网站内容进行抓取，而疯狂的蜘蛛在第一次抓取时，真的很疯狂! (所以这里有个小细节，一定注意、新站上线一直要把内容做充实，而且最好是原创的内容)

网站从28号开始收录

从收录角度来说，小向还是很满意的，我记得9月29号是96篇，而当时小向总共文章发布数才130篇右左，而直接收录了96篇，这些文章都是从其它地方复制过来的! 有这种收录比例还是不错的。　　我接着对Robots分析，从上面三张图中，相信大家可以看到，网站从上线到24号以前是没有百度蜘蛛爬取的，从25号开始百度对Robots.txt文件进行了抓取，而我们知道虽然抓取了，但是生效同样需要一个等待期，小向比较走运，在27号百度就进行了抓取，而且隔天就放出了!　　那么我们可以对“百度对Robots文件”做个总结： 想让Robots.txt 文件生效、必需要等网站中的Robots.txt文件被蜘蛛抓取后，Robots文件才会被生效，而“抓取”到“生效”之间也需要时间等待、这个等待期就是蜘蛛下次在次抓取你网站内容的时候。　　其它方面也不多说了、小向写了三篇对Robots的研究分析[百度对Robots.txt抓取时间分析报告]， 每篇文章都是站在一个新的思路去理解的，但是同时这三篇文章也有关联，如果你能够把三篇文章综合起来理解最好，如果不行，一篇篇理解也行，(可能在读解这三篇文章中，你会说他们之间有些冲突，但是我相信如果真正理解了这几篇文章，你就不会感觉冲突)研究SE就是这样，只有大胆的想，大胆的实验，你就会成功. 不说自己的水平怎么怎么样，但是我尝试了、努力了、有了总结，我相信以后再次遇到这样的问题就难不倒了。

本文链接：https://www.24zzc.com/news/169366575028150.html