蜘蛛不抓取网站(百度蜘蛛抓取规律)

网站的文章没有被收录有三个方面的原因：内容质量不够好、网页权重还没有达到收录的临界值、网页没有点击没有用户。内容可以通过修改的方式增加质量，权重通过内链和外链的方式解决。

1、robots文件禁止搜索引擎收录

有的网站上线前都会在服务器上安装一段时间，以方便企业或个人站长查看网站制作和设计情况的工作进度，同时也方便企业和个人站长与网络公司进行及时的沟通交流，方便对网站的设计和修改。

在网站上线前大多数程序都会对网站的robots文件进行设置，禁止搜索引擎收录该网址，而网站正式上线后，一些比较粗心的网站优化推广人员都不去检查网站的robots文件，就开始进行网站的优化推广，而网站上线很长时间了网站却一直不被收录，而再来检查网站的robots文件似乎有些亡羊补牢了。

每一个作为网站SEO优化推广的人来说，仔细和认真检查网站的每一个细节部分是必不可少的，也是一个网站SEO优化的基本工作体现。

2、网站域名是否是常用域名？之前是否有不良历史记录？

在购买域名的时候尽量使用.com、.cn、.net这一类的常用域名，现在新出了很多域名例如.cc、.top、.xyz或者中文域名.公司、.网络等等，搜索引擎对这类域名网站收录本来就很低或者不收录，注册的时候一定要注意使用常规域名。

通过网站历史快照工具检查一下域名之前是否被注册过，如果以前注册过了，需要看看以前是做什么类型的网站，是否被K过，是否被搜索引擎惩罚。如果之前被K过或者做过危险性的网站，搜索引擎是不会再收录的。

3、网站服务器是否稳定？

有的虚拟主机IP被搜索引擎拉黑或者主机禁止了蜘蛛的IP、服务器频繁宕机，空间访问速度慢等。会导致搜索引擎蜘蛛不能抓取，或者来抓取的时候网站打不开或者速度超慢，蜘蛛爬行就会受到阻碍，时间长了，蜘蛛爬行的次数会越来越少。

4、网站上线后一直在改动

网站上线后时常的进行改动，导致网站被搜索引擎误判断为不信任的网站而延长收录的考核期。

网站一旦确认上线后，网站的改版和修改完善一定要谨慎小心，目前像百度搜索引擎来说，对一个刚上线的网站已由原来的一到七天的收录考核期，变为三到七天，甚至更长时间的收录考核，搜索引擎对一个网站收录考核的时间已经变得较长了。如果网站在上线的三到七天的时间里，经常性的修改网站的版面或者其他功能等，搜索引擎将会视该网站的具体情况而考虑是否延长收录考核期。

所以，网站上线后，切忌进行大幅度的经常性修改，以免影响网站被收录的时长，同时也会影响网站后期的排名情况。

5、网站URL结构层次过深

网站URL链接过深，会影响搜索引擎蜘蛛抓取，时间久了，蜘蛛来的次数就会减少，最后导致网站不收录，对此，建议大家一般建议扁平化结构，URL在三层以内，方便搜索引擎蜘蛛爬行抓取。

6、网站页面结构不友好？

网站在搜索引擎中的良好表现与网站页面的结构是分不开的，很多不懂SEO原理的人往往会犯这样的错误，为了使网站的视觉效果达到最佳，往往网站会使用大量的js、flash、ifrmae等内容。

《百度搜索引擎优化指南》中明确说明：不建议使用frame和iframe框架结构，通过iframe显示的内容可能会被百度丢弃。正是由于这些不友好的元素，搜索引擎不能很好的来抓取网站内容，这也是网站不收录常见的原因之一。

7、网站存在大量采集信息

许多新网站上线后，为了填充网站里面的内容而大量的采集网上的信息，有的网站SEO优化人员或者是网站编辑会进行适当的伪原创修改，而有的网站SEO优化人员和网站编辑几乎是懒得动手动脑去修改，原封不动的把采集信息就发布到网站上面，导致网站存在大量的垃圾和同质化信息，搜索引擎会针对这类网站进行延长收录的惩罚，同时针对已收录的网站降低相应的排名和权重。

8、网站是否过度优化？

网站刻意优化，会被搜索引擎认为是作弊。比如说，关键词堆砌、隐藏文字、文章中锚文本过多、锚文本都指向同一个关键词、友情链接过多等。

交换友情链接一定要慎重，交换前要查看对方网站基本情况，质量好的或者权重差不多可以交换，不要与不健康的、垃圾网站、被降权的网站交换，友链质量也是影响网站不收录的因素之一。

一旦被搜索引擎识别为作弊，里K站就不远了，自然网站也就不收录了。

9、外链发布不规律或不正常

一些网站优化推广人员为了想要尽快让刚上线的网站有收录和有排名，采用软件群发的方式，一时间在各大中小平台进行软件群发站点的信息，导致刚上线的网站就有众多的无数外链信息，搜索引擎针对其在短时间内网站存在的众多外链信息进行分析和评判，大量的垃圾信息将会成为该网站的收录考核的一部分因素，情节严重的将会陷入百度绿萝卜算法当中。

所以，网站上线后切勿采用群发的模式为网站增加大量的外链信息，目前这类群发信息平台有很多，如某松平台就有一件群发网站信息的功能。网站优化推广需要的是一点一滴的完善和维护，需要长时间的维护和运营才会有好的IP和流量访问，而不是一蹴而就的黑帽等违反搜索引擎平台的相关规定和优化规则。

同时，选择外链发布平台可以优先的选择新浪博客、搜狐自媒体等平台，选择权重较高的平台进行外链的发布，提高站点的信任度和平台的引流。为了提高新网站的收录，网站优化推广人员，还可以选择利用向搜索引擎主动提交网站的链接的方法，告诉搜索引擎来抓取网站里面的内容，解决网站收录的重要方法。

10、网站上面存在大量违规信息

目前国家对互联网信息的管理相对前几年来说，管理和整治互联网上的违法违规信息较为严格，搜索引擎等平台针对违规违法信息的收录和索引也相对比较严格和谨慎，如果你的网站存在诸如黄赌毒或者是其他私服等信息，搜索引擎将会拒绝对你的网站进行收录或者延长收录。

网站优化推广需要的是运营推广人员针对网站存在的每一个细节进行完善和修改，围绕网站存在的问题不断的进行提升和弥补不足之处，使网站更符合搜索引擎的搜索规则和用户体验，让网站拥有更好的排名和访问IP。

下面是哑舍在公司整理到的一整套系统的SEO全套学习教程（大纲截图） 关注哑舍二然后看下方图片即可免费领取！

送给每一位SEO小伙伴, 有想学习SEO的，或是转行，或是大学生，还有工作中想提升自己能力的，正在学习的小伙伴欢迎加入！

本文链接：https://www.24zzc.com/news/169295451523918.html