robot协议如何写?今天重点讲啦

2018-03-09 13:30:41  阅读 347 次 评论 0 条

网站三要素很多人都很清楚,都知道TDK的含义和设置。昨天有个小伙伴问我robot协议如何写?在这里我就根据昨天的问题给大家分享一下robot协议!

TIM图片20180309184345.png

问题一:什么是robot协议?

robots(中文翻译为机器人),robots协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站点沟通的“桥梁”。网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录可以抓取,哪些文件/目录不可以抓取。

问题二:robots.txt文件放在哪?

一般我们把网站的robots.txt文件放置在网站根目录下,便于搜索引擎爬虫第一时间抓取该文件。

问题三:robots.txt文件的格式是什么?

1、robots文件通常包含以一条或多条User-agent开始,后面加上若干条Disallow或Allow。

2、User-agent:用来描述搜索引擎robot的名字。

3、如果存在多条User-agent记录说明有多个robot会受到"robots.txt"的限制,至少要有一条User-agent记录。

4、如果User-agent的值设为*,则对任何robot均有效,且"User-agent:*"这样的记录只能有一条。

5、如果有"User-agent:SomeBot"和若干Disallow、Allow行,那么搜索引擎爬虫名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

6、Disallow:用来描述不希望被访问的一组URL。

7、这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

8、比如:"Disallow:/help"这条规则表示的是禁止robot访问/help.html、/helpabc.html、/help/index.html等。

9、比如:"Disallow:/help/"这条规则表示的是允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。

10、"Disallow:"说明允许robot访问该网站的所有url,robots.txt文件中,至少要有一条Disallow记录。

11、如果网站根目录下robots.txt不存在或者为空文件,则对于所有的搜索引擎爬虫来说,该网站都是开放的。

12、Allow:用来描述希望被访问的一组URL。

13、与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

14、比如:"Allow:/hibaidu"这条规则表示的是允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

15、使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url("*" 匹配0或多个任意字符,"$" 匹配行结束符)。

问题四:robots.txt文件的如何撰写?

1、允许所有搜索引擎爬虫访问网站的任何内容

User-agent: *

Allow: /

2、禁止所有搜索引擎爬虫访问网站的任何内容

User-agent: *

Disallow: /

3、仅允许baidu搜索引擎爬虫访问网站的任何内容

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /

4、仅禁止baidu搜索引擎爬虫访问网站的任何内容

User-agent: Baiduspider

Disallow: /

User-agent: *

Allow: /

5、仅允许baidu及google爬虫访问网站的任何内容

User-agent: Baiduspider

Allow: /

User-agent: Googlebot

Allow: /

User-agent: *

Disallow: /

问题五:仅允许baidu及360搜索引擎爬虫访问网站内容,并且禁止抓取所有图片和php网页内容robots.txt文件的如何撰写?

User-agent: Baiduspider

Allow: /

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.gif$

Disallow: /*.bmp$

Disallow: /*.php$

User-agent: 360Spider

Allow: /

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.gif$

Disallow: /*.bmp$

Disallow: /*.php$

User-agent: *

Disallow: /

本文地址:http://www.sssseo.com/post/30.html
版权声明:本文为原创文章,版权归 aixiaofeng 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?