宝鸡网站优化seo(seo网站推广全程实例)

网站做SEO？90%的人会忽略的一个点,那就是robots.txt文件的书写，有的人可能直接使用系统自带的robots文件，有的人可能根本没有在乎这个东西，但是百度站长中心栏目里是明确有robots的检测的，我们就应该重视！

网站优化一定要认真写好robots.txt，因为它关系到搜索引擎对网站内容的抓取问题。宝鸡网站建设橙橙同学先带大家了解robots文件，然后学习Robots文件的写法。

什么是robots.txt文件?

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

robots.txt文件的常用写法举例

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

例2. 允许所有的robot访问

(或者也可以建一个空文件 "/robots.txt")

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

例3. 仅禁止Baiduspider访问您的网站 User-agent: Baiduspider

Disallow: /

例4. 仅允许Baiduspider访问您的网站 User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

例5. 禁止spider访问特定目录

在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

例6. 允许访问特定目录中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

例7. 使用"*"限制访问url

禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

User-agent: *

Disallow: /cgi-bin/*.htm

例8. 使用"$"限制访问url

仅允许访问以".htm"为后缀的URL。

User-agent: *

Allow: .htm$

Disallow: /

例9. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

例10. 禁止Baiduspider抓取网站上所有图片

仅允许抓取网页，禁止抓取任何图片。

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

例11. 仅允许Baiduspider抓取网页和.gif格式图片

允许抓取网页和gif格式图片，不允许抓取其他格式图片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

例12. 仅禁止Baiduspider抓取.jpg格式图片

User-agent: Baiduspider

Disallow: .jpg$

整理不易，欢迎大家收藏关注，这些东西大家不用去记忆！只需要收藏使用即可。

本文链接：https://www.24zzc.com/news/169833029052706.html