404错误页面对网站优化的阻碍与改善措施
Http404或notfound错误消息是HTTP的“标准响应信息”(HTTP状态码)之一,这意味着客户端浏览网页时服务器无法正常提供信息,或者服务器无故无法响应。
1、很多站点不能避免死链接的存在,但是死链机率高会影响搜索引擎对站点的评级。
2、搜索引擎每天抓取每个网站的频率。如果网站有很多死链接,就会浪费抓取配额,影响正常页面的抓取。
3、过多的死链对网站用户来说也是一个糟糕的表现。
但是必须有许多错误的页面不应该存在,所以我们需要找到一种方法来获取这些页面的URL,主要有以下三种方式:
(1) 百度站长工具-抓取异常-页面未找到-复制数据[修复:这里不需要提交死链,百度站长工具自动提交死链];
(2) 删除页面时,管理员手动或自动保存被删除页面的URL;
(3) 使用相关的爬虫软件对整个站点进行爬虫,获得死链,如Xenu。
1、在百度站长工具中提交死链接之前,请确保提交的死链接数据中没有活链接。一旦有一个活动链,它将显示提交失败,无法删除。
2、由于很多网站程序问题,很多无法打开的页面返回码都不是404,这是一个很大的问题。例如,无法打开的页的返回码是301、200、500。如果他们是200,不同的网址将出现在网站上,以获得相同的内容。例如,在我的一个网站上,社区帖子被删除后,返回代码实际上是500。后来,我发现了,立即处理。尝试找出所有错误的URL格式,并将HTTP状态代码设置为404。
3、在找到所有错误的页面后,一定要找到这些页面的URL的相同特性,并将它们与普通页面的特性区分开来。将相应的规则写入robots文件,并禁止spider获取它们。即使你已经在网站管理员工具中提交了死链,建议机器人拦截并抓取它们。
4、机器人只能解决蜘蛛不再抓取此类页面的问题,但不能解决删除包含页面的快照的问题。如果你的网站是黑色的,并且黑色页面被删除,除了被机器人禁止的黑色页面外,这些页面也应该提交到死链。
推荐阅读:
教你网站日志反回值304是怎么回事以上便是404错误页面对网站优化的阻碍与改善措施相关内容,如果对你有所帮助,记得收藏本页方便下次阅读。
感谢观看,欢迎留言评论,关注并点赞!