网站SEO优化中Robots是什么意思，Robots.txt文件怎么写
2020-02-04 21:12:56
Robots在网站SEO优化工作中，是比较重要的一个环节，特别是当你的网站包含不希望被搜索引擎收录的内容的时候，Robots.txt文件能告诉蜘蛛哪些可以抓取，哪些不能抓取。很多新手和站长朋友对Robots不是很了解，今天，网站SEO优化—梓琳SEO为大家分享的是：网站SEO优化中Robots是什么意思，Robots.txt文件怎么写
Robots是什么意思
网站SEO优化中Robots是什么意思，Robots . txt的定义
Robots . txt又称爬虫协议、机器人协议等。简单的来说，它告诉搜索引擎哪些页面可以被抓取，哪些页面不能被抓取。当蜘蛛访问站点时，它首先检查robots.txt是否存在于站点的根目录中。如果存在，蜘蛛将根据Robots . txt文件内容确定访问范围；如果Robots . txt文件不存在，蜘蛛将访问站点上的所有页面。
网站SEO优化中，Robots的作用
1. 引导搜索引擎蜘蛛抓取特定的内容或者栏目；
2. 屏蔽对搜索引擎不友好的链接，特别是网站版面大幅度修改或URL重写优化的时候；
3. 屏蔽死链和404错误页面；
4. 屏蔽无内容、无价值的页面，比如客户留言页面；
5. 屏蔽重复页面，如评论页面，搜索结果页面；
6. 屏蔽任何不想被抓取，不想被收录的页面；
7. 引导蜘蛛抓取网站地图。
Robots使用说明【百度站长】
1. robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。
3. Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
4. 如需检测未验证站点的robots设置，请在百度站长上进行检测。
Robots.txt文件怎么写，以梓琳SEO为例
Robots.txt文件怎么写
robots.txt文件的写法，以zilinseo.com 梓琳SEO为例：
1、User-agent:(定义搜索引擎)
示例：
User-agent: *(定义所有搜索引擎)
User-agent: Googlebot (定义谷歌，只允许谷歌蜘蛛爬取)
User-agent: Baiduspider (定义百度，只允许百度蜘蛛爬取)
不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。
2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)
示例：
Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)
Disallow: /admin (禁止蜘蛛爬取admin目录)
Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)
Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html页面)
3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)
示例：
Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)
Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)
4、匹配符 “$”
$ 通配符：匹配URL结尾的字符
5、通配符 “*”
* 通配符：匹配0个或多个任意字符
Robots.txt需要注意的问题
Robots.txt文件需要注意的问题
1、robots.txt 文件必须放在网站的根目录中，不可以放在子目录中。
比如以梓琳SEO为例，robots.txt 文件放网站根目录。通过http://www.zilinseo.com/robots.txt 你就可以访问www.zilinseo.com的robots.txt文件了。
2、robots.txt 文件命令必须小写，记得是robots而不是robot。
3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。
4、路径后面加斜杠“/” 和不加斜杠的是有区别的
比如：Disallow: /help
禁止蜘蛛访问 /help.html、/help/abc.html、/help/index.html
Disallow: /help/
禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html
网站SEO优化中Robots是什么意思，Robots.txt文件怎么写—梓琳SEO的分享到这里就结束了，robots文件相当于给蜘蛛方向指引，减少不必要的抓取任务。特别是当网站改版，有死链或者不想收录的页面的时候，Robots.txt文件更为重要。
Robots是什么意思
网站SEO优化中Robots是什么意思，Robots . txt的定义
Robots . txt又称爬虫协议、机器人协议等。简单的来说，它告诉搜索引擎哪些页面可以被抓取，哪些页面不能被抓取。当蜘蛛访问站点时，它首先检查robots.txt是否存在于站点的根目录中。如果存在，蜘蛛将根据Robots . txt文件内容确定访问范围；如果Robots . txt文件不存在，蜘蛛将访问站点上的所有页面。
网站SEO优化中，Robots的作用
1. 引导搜索引擎蜘蛛抓取特定的内容或者栏目；
2. 屏蔽对搜索引擎不友好的链接，特别是网站版面大幅度修改或URL重写优化的时候；
3. 屏蔽死链和404错误页面；
4. 屏蔽无内容、无价值的页面，比如客户留言页面；
5. 屏蔽重复页面，如评论页面，搜索结果页面；
6. 屏蔽任何不想被抓取，不想被收录的页面；
7. 引导蜘蛛抓取网站地图。
Robots使用说明【百度站长】
1. robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。
3. Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
4. 如需检测未验证站点的robots设置，请在百度站长上进行检测。
Robots.txt文件怎么写，以梓琳SEO为例
Robots.txt文件怎么写
robots.txt文件的写法，以zilinseo.com 梓琳SEO为例：
1、User-agent:(定义搜索引擎)
示例：
User-agent: *(定义所有搜索引擎)
User-agent: Googlebot (定义谷歌，只允许谷歌蜘蛛爬取)
User-agent: Baiduspider (定义百度，只允许百度蜘蛛爬取)
不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。
2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)
示例：
Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)
Disallow: /admin (禁止蜘蛛爬取admin目录)
Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)
Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html页面)
3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)
示例：
Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)
Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)
4、匹配符 “$”
$ 通配符：匹配URL结尾的字符
5、通配符 “*”
* 通配符：匹配0个或多个任意字符
Robots.txt需要注意的问题
Robots.txt文件需要注意的问题
1、robots.txt 文件必须放在网站的根目录中，不可以放在子目录中。
比如以梓琳SEO为例，robots.txt 文件放网站根目录。通过http://www.zilinseo.com/robots.txt 你就可以访问www.zilinseo.com的robots.txt文件了。
2、robots.txt 文件命令必须小写，记得是robots而不是robot。
3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。
4、路径后面加斜杠“/” 和不加斜杠的是有区别的
比如：Disallow: /help
禁止蜘蛛访问 /help.html、/help/abc.html、/help/index.html
Disallow: /help/
禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html
网站SEO优化中Robots是什么意思，Robots.txt文件怎么写—梓琳SEO的分享到这里就结束了，robots文件相当于给蜘蛛方向指引，减少不必要的抓取任务。特别是当网站改版，有死链或者不想收录的页面的时候，Robots.txt文件更为重要。
