网站SEO优化中Robots是什么意思,Robots.txt文件怎么写

客服QQ:99164055

24h客户经理:18028862882
我要分享

网站SEO优化中Robots是什么意思,Robots.txt文件怎么写

2020-02-04 21:12:56

Robots在网站SEO优化工作中,是比较重要的一个环节,特别是当你的网站包含不希望被搜索引擎收录的内容的时候,Robots.txt文件能告诉蜘蛛哪些可以抓取,哪些不能抓取。很多新手和站长朋友对Robots不是很了解,今天,网站SEO优化—梓琳SEO为大家分享的是:网站SEO优化中Robots是什么意思,Robots.txt文件怎么写


Robots是什么意思
网站SEO优化中Robots是什么意思,Robots . txt的定义

Robots . txt又称爬虫协议、机器人协议等。简单的来说,它告诉搜索引擎哪些页面可以被抓取,哪些页面不能被抓取。当蜘蛛访问站点时,它首先检查robots.txt是否存在于站点的根目录中。如果存在,蜘蛛将根据Robots . txt文件内容确定访问范围;如果Robots . txt文件不存在,蜘蛛将访问站点上的所有页面。

网站SEO优化中,Robots的作用

1. 引导搜索引擎蜘蛛抓取特定的内容或者栏目;

2. 屏蔽对搜索引擎不友好的链接,特别是网站版面大幅度修改或URL重写优化的时候;

3. 屏蔽死链和404错误页面;

4. 屏蔽无内容、无价值的页面,比如客户留言页面;

5. 屏蔽重复页面,如评论页面,搜索结果页面;

6. 屏蔽任何不想被抓取,不想被收录的页面;

7. 引导蜘蛛抓取网站地图。

Robots使用说明【百度站长】

1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

4. 如需检测未验证站点的robots设置,请在百度站长上进行检测。


Robots.txt文件怎么写,以梓琳SEO为例
Robots.txt文件怎么写

robots.txt文件的写法,以zilinseo.com 梓琳SEO为例:

1、User-agent:(定义搜索引擎)

示例:

User-agent: *(定义所有搜索引擎)

User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)

User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)

示例:

Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

Disallow: /admin (禁止蜘蛛爬取admin目录)

Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html页面)

3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

示例:

Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

4、匹配符 “$”

$ 通配符:匹配URL结尾的字符

5、通配符 “*”

* 通配符:匹配0个或多个任意字符


Robots.txt需要注意的问题
Robots.txt文件需要注意的问题

1、robots.txt 文件必须放在网站的根目录中,不可以放在子目录中。

比如以梓琳SEO为例,robots.txt 文件放网站根目录。通过http://www.zilinseo.com/robots.txt 你就可以访问www.zilinseo.com的robots.txt文件了。

2、robots.txt 文件命令必须小写,记得是robots而不是robot。

3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

4、路径后面加斜杠“/” 和不加斜杠的是有区别的

比如:Disallow: /help

禁止蜘蛛访问 /help.html、/help/abc.html、/help/index.html

Disallow: /help/

禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

网站SEO优化中Robots是什么意思,Robots.txt文件怎么写—梓琳SEO的分享到这里就结束了,robots文件相当于给蜘蛛方向指引,减少不必要的抓取任务。特别是当网站改版,有死链或者不想收录的页面的时候,Robots.txt文件更为重要。

SEO报价

深圳拓客网络服务有限公司

技术中心:深圳市宝安区 西乡街道,西乡路5-511

公司总部:深圳市南山区西丽湖路4221-71

大客户经理:(+86)-18028862882

营销热线:18028862882

QQ:99164055 邮箱:99164055@qq.com