百度引蜘蛛更换目录抓取(百度蜘蛛抓取程序的名称)

拥有良好的网站收录是SEO的基础工作，只有网站的内容进入了百度的索引库才有机会在关键词搜索的时候出现在搜索的结果中。下面从三个维度给大家分享一下如何打造适合百度抓取的网站。

一、站点结构

1、逻辑清晰的链接层次结构

比较好的站点结构还是树状结构，以首页为节点的树状连通，可以通过首页的链接访问到网站的任意页面。在建立站点树状结构的时候要注意避免过于扁平化的结构，所有的内容页面全部放在根目录也不利于网站的目录权重传递。在建站的时候还需要注意的是要避免孤岛链接，所谓孤岛链接就是一个页面通过站内的正常访问是不能找到页面的，只有通过直接输入网址或地图提交才能找到的页面。这样的页面搜索引擎不容易抓取也不利于用户对内容的浏览和访问影响用户体验。

2、PC/移动适配

现在移动搜索的流量越来越大，通过建立适配，使PC端URL和移动端URL，有规则级的对应关系，且相互关联。这样在移动搜索的时候网站才有机会进入移动索引库中。对于网站在建立适配的时候推荐建立规则级对应关系，符合一定的正则表达式映射规则。目前百度推荐的视频方式有：跳转适配、代码适配、自适应。

在建立页面适配的时候不建议的做法：

单一域名下采用多种是配方式;

把移动站作为PC站下的一个目录。

如果使用跳转适配的方式，请不要使用JS对ua进行适配跳转

建立完成：主动、同事通过链接提交工具提交PC端URL和移动端URL

建立完成：尽量通过链接提交工具提交对应规则

3、站带你主动提交

目前百度在站长工具中有主动推送、自动推送、sitemap三种方式供站长对新产出资源，更新资源及时提交，在对内容提交的时候站长要注意避免死链和低质内容被搜索引擎抓取。在出现死链接的时候可以通过死链接提交工具进行死链和失效资源及时提交。

对于移动站也需要通过提交工具对移动链接对适配后的链接进行提交，方便搜索引擎对移动页面的充分及时抓取。

4、避免目录被黑/出售

百度蜘蛛的站点评级会综合网页、目录等多个维度考虑。一旦发现被黑或垃圾内容会是百度指数对整个站点的质量存疑，进而影响整个站带你的收录效果，进而影响到排名。

通常购买网站目录的人都是利用站点已有的权威和搜索引擎评级做灰色产品的页面排名，很容易伤害到网站的用户体验，百度对伤害到用户体验的行为是零容忍的。

二、页面结构

1、不建议使用JS加载页面内容

百度蜘蛛对网站抓取的时候包含在JS中的内容是不能抓取的，所以站长希望用户见到的内容不要放在JS中加载，会影响网页的正常索引，对希望百度抓取的链接也不要放在JS中加载，会影响会影响链接发现。

2、布局符合移动有好标准

移动设备有其特殊性，在对移动页面设计的时候，有区分于PC端的特殊要求。例如：移动设备通常使用的是3G，4G的网络信号，加载速度远不如电脑网线的速度快，页面的加载速度超过3秒的页面就不会出现在移动搜索的结果中。具体的移动友好标准可以参考百度官方的《移动站点对百度友好全解》。

3、索引页&索引页翻页友好型

在做PC端的索引页和翻页的时候如果可能尽量列举全部翻页，至少要包含最近一段时间的所有内容。在翻页的时候只使用“上一页”“下一页”是不利于搜索引擎对页面的充分抓取的。另外对移动端也有特殊性，在使用下拉触发加载的时候建议下拉加载次数上限为3次，一定要避免无线下拉加载的设计。

三、抓取限制

1、避免预期以外的封禁

常见的预期意外的封禁有：建站模板中的封禁信息，服务器自动封禁策略，网站所在空间服务商封禁IP导致，在网站内容抓取异常时候可以考虑以上因素进行逐一排查。

还有最常见的屏蔽百度蜘蛛抓取的是robots屏蔽，这种情况多是站长失误导致希望抓取的目录被屏蔽了抓取。

2、使用标准重定向

在对网站改版的时候经常会出现页面的重定向跳转，在使用重定向的时候建议使用301跳转，不建议使用JS冲定性。

3、死链反馈

对于网站中出现死链接的时候，要设置百度蜘蛛抓取返回404的状态码以便百度蜘蛛能得到正确的反馈。如果出现的死链接较多的时候可以参考上文中的死链接提交工具。

以上是搭建符合百度蜘蛛抓取站点的三个解读，希望对大家有帮助。

本文链接：https://www.24zzc.com/news/169406946530461.html