搜索引擎蜘蛛的由来(链接搜索引擎 蜘蛛)

通过《SEO新手入门系列2022（二）：SEO 101》这篇文章已经简单的介绍了什么是SEO，和搜索引擎，这一篇文章来详细的介绍下搜索引擎的工作原理，搜索引擎的工作顺序大致是： 抓取网页（Crawing） ， 建立索引（Indexing），排名显示（Ranking） 。

就像在前一篇文章提到的，搜索引擎就是一个问答机器，他们去挖掘，理解，组织网上能发现的任何信息，然后把他们以相关的方式组织起来，再返回给使用者，为了能把你的网站展现给用户之前，最重要的一件事就是你的网站能够被搜索引擎发现 ，否则在SEPRs（搜索引擎结果页）是不会有你网站信息的。

就如SEO小也开头说的，搜索引擎想把网站信息提供给用户，需要完成三个主要任务：

当然其中的技术实现是非常复杂的，作一名SEO新人，可能占时不需要深究这些问题，SEO小也在大学毕业的时候，作的毕业设计就是搜索引擎，当然那时候是使用第三方的索引分词库，我们大部分时间只要配置规则就可以，更深入的内容我会另写些篇文章来分享。

搜索引擎要想把相关内容展示给用户，第一步做的就是派出他的小弟—— 搜索引擎爬虫（蜘蛛） ，他们会不停的抓取互联网上新的内容，或者更新数据库中旧的内容，内容的形式多种多样，有可能是网页，PDF文件，MP3音频文件，什么形式都有，但是他们都是通过URL去找到这些内容的。

搜索引擎一开始会有一些种子URL，这些URL都是一些质量比较高的链接地址，而且蜘蛛们就会顺着这些地址不断的往下抓取，在这个过程中，新发现的链接又会被作为新一轮爬取任务的种子URL，直到没有新的链接可以爬取。

建立索引是一个非常复杂的过程，这个过程涉及的内容比较多的是计算机方面的内容，有算法，有地理环境，有社会学研究等等因素，搜索引擎会根据很多参数去控制这些内容的分类，但是最重要的一点，就是这些内容的相关性，相关性越高，被分在同一个分类的可能性就越高，建立索引是为了后期能快速展现给用户作准备，也是为排名提供数据基础。

用户在搜索引擎输入框输入他的关键词，搜索引擎会用惊人的效率在他庞大的索引数据库中找到相关的内容，并按内容的相关性和一些其它的参数来对内容进行排序，这个过程就是搜索引擎排名，靠前的内容，在搜索引擎看来就是和用户的问题相关性越高的回答。

如果我们不想让搜索引擎把一些内容展示给用户，这也是可以办到的，但是大多数情况下我们不会这么做，搜索引擎优化的目的就是为了让用户看到我们，并能让搜索引擎优先展示我们想给用户看的内容。

就像前面说的，如果要让自己的网站出现在SERPs中，那前提就是让网站被搜索引擎蜘蛛爬取和索引，如果你已经有了网站，你可以使用 site 命令来查看自己网站被收录的情况，就拿SEO小也为例，在谷歌搜索框输入 site:www.seozen.top 你可以看到如下类似的结果：

可以看到SEO小也已经有135个网页已经被谷歌收录，这个结果是经常会变动的，能看到一个大概的数据，并不是特别的精准，还有很多没有显示的网页，用一些关键词也是能搜索到。如果想看更精准的结果，可以使用 Google Search Console 在收录功能中查看，这就相当于我们 百度的站长平台 ，但是SEO小也个人觉得比百度站长的作用要大的多，所以SEO小也一般只会看GSC的数据，很少去看百度站长平台的数据，以后也会专门写几篇文章来介绍。

如果你使用 site命令 找不到网站的收录，那有可能是下面几种原因：

我们有时候把精力太多的放在如何让搜索引擎抓取内容，却忽略如何不让搜索引擎不要爬取一些内容，比如说一些重复的页面，一些搜索参数，还有比如说公司的联系方式，留言等，这些内容被收录意义并不大，而且还会让搜索引擎不知道具体哪个界面是你最想展示给用户的，所以这时候我们就要告诉搜索引擎，哪些资源他不要花时间去爬取，这就要 robots.txt 文件出场了，这篇SEO教程先到这。

本文链接：https://www.24zzc.com/news/169296945224061.html