百度蜘蛛不来新网站怎么回事(百度蜘蛛为什么)

《开眼营销— —转载文》

很多站长都会遇到这个问题，网站开发完成上线后，百度一直不收录。

即使收录也只是收录个首页，内页很难快速被收录。如何解决这个问题?

搜索引擎的进化

互联网早期，网站数量有限，所以人工整理是可行的，比如就有DMOZ这样的人工编辑的网站数据库，分门别类的整理好各种网址。

后来全球网站数量爆炸性增长，人工整理就不现实了，于是有了网络爬虫(也叫蜘蛛)代替人工去访问抓取网站，这就是最原始的搜索引擎。

虽然互联网是一个网状结构，但是抓取整个互联网上的所有网站还是有难度的，首先要解决的问题就是如何发现这些网站。

为了解决这个问题，搜索引擎都会有一个基础的网站数据库，从这里的网站开始爬取，希望能抓取整个互联网上的信息。而且依靠链接之间的引用关系和使用的链接文本来计算网页的权重，从而能对搜索结果排序。比如Google的PageRank算法。

Yahoo算是非常早的搜索引擎，它就使用DMOZ的网站作为爬虫的抓取起点，而且怀疑Google也使用DMOZ数据，因为10多年前做网站时，大家都希望自己的网站能被DMOZ收录，甚至贿赂DMOZ的编辑人员。

还有那时候大家都拼命交换友情链接，PR值高的网站就是大爷。这背后对应着网站的收录速度和排名高低。

一个新网站，如果有PR值高的网站给你加友情链接，很快网站就可以被抓取收录。

早期互联网内容贫乏，随便做个网站，找有权重的网站交换友情链接，这些搜索引擎爬虫都如饥似渴的抓取收录。

可现在互联网上的内容太多了(Google的总索引页面数477亿左右))，搜索引擎也变得越来越挑剔，所以新站起流量越来越难了。

那怎么解决新网站的百度收录问题呢?

借尸还魂法

用新注册的域名做网站，从被百度收录到有排名需要很长的时间。

就像你遇到一个陌生人，你完全不知道他的底细，考核观察的时间就会很长。

所以希望网站快速被收录，建议花钱买老域名，而且最好选域名注册历史久、没有不良记录、各大搜索引擎还有残留索引记录的为佳。

什么叫“没有不良记录”?

域名没有做过黄、赌、毒、医疗等违法或灰色行业。

多点击一些网页快照，看看年初的月份，再看看近期的快照。还有一点就是，查看快照时候，右键查看下页面源码，看底部的友情链接部分有没有违法网站，避免选择被黑过的网站。

而且如果一个域名长达一年多没有做过网站，可能也要放弃。

关于购买老域名，可以上聚名网或其他提供老域名抢注或交易的网站，平均价格在100-200之间。

基础的域名数据，比如百度权重，各个搜索引擎的收录情况，可以使用爱站SEO助手或自己写程序抓取。

以上技巧很实用，前段时间跟一个朋友学的。

投怀送抱法

百度不收录，那我们要主动投怀送抱。百度站长平台提供了四种方式来提交抓取请求。

1、主动推送：最为快速的提交方式。

适用场景：把网站当天新产生的链接通过这种方式推给百度，保证新链接可以及时被百度收录。

在站长平台后台点击“网页抓取”->“链接提交”可以看到具体的使用说明，百度提供有curl、php和ruby等样例代码。

2、自动推送：最为方便的提交方式。

使用方法：将自动推送的JS代码加到网站每个页面里，当有用户访问这个页面时，页面链接就会自动推送给百度。可以配合主动推送使用。

代码如下：

3、Sitemap：传统提交方式。

很多网站CMS都提供生成Sitemap的功能，如果没有的话，需要借助工具或自己写代码生成。通过Sitemap告诉百度蜘蛛哪些网页希望被抓取。

百度Sitemap支持3种格式：txt文本格式、xml格式、Sitemap索引格式。

如果是小网站，页面数量小于5万，可以使用txt或xml格式的sitemap文件放到网站根目录下就可以。

如果是网页数量超过5万，可以网址拆分成5万为一组的xml文件，然后放到Sitemap索引文件中，通过站长平台提交给百度。

具体格式参考百度官方说明：Sitemap提交工具站长资讯百度站长平台

Sitemap提交方式收录速度慢于主动推送。

4、手动提交：最偷懒的后台提交方式。

通过百度站长后台手动提交，一次只能提交20个网址。

但这里有原创提交入口，原创内容可以通过这里提交。

有几个问题需要注意：

主动提交Sitemap有利于百度对你网站内容的识别抓取，但不一定会收录所有网址，页面质量高才会收录。

重复提交没有用，反而会浪费主动推送配额。

有专门的移动版Sitemap格式，需要按百度要求格式制作提交。

老司机带带我

搜索引擎虽然越来越高级，但是爬虫(蜘蛛)的基本原理并没有大变化。

想要页面被收录，就需要蜘蛛访问抓取页面，如果没有蜘蛛光顾，网站被收录就无从谈起。

所以主动推广，交换链接依然是加快收录的有效手段。

如果你有一个百度抓取频率很高的网站，在主要页面上增加链接文本指向新站，引导蜘蛛抓取你的新站。

有“老司机”带路，就是不一样。

还有些人会用一些黑帽手法，比如蜘蛛池，利用抓取的漏洞把百度蜘蛛困在资源站中，最后导出外链到新站以加快收录。

总结

建网站只是万里长征第一步。如何推广，如何获取流量，如何给用户带来价值是更值得深入讨论的问题。以后我们慢慢讲。

本文链接：https://www.24zzc.com/news/169345996126809.html