robots文件作用和写法

1、Robots.txt文件是什么：首先seo博客要和大家弄清楚robots.txt的概念题目，带有txt后缀的

文件是纯文本文档，robots是机器人的意思，也就是说，robots.txt文件是给搜索引擎蜘蛛看的纯文本

文件。它告诉搜索引擎哪些网页许可抓取、索引并在搜索效果中表现，哪些网页是被禁止抓取的。搜索

引擎蜘蛛来访问你的网站页面的，首先会查看网站根目录下是否有robots.txt文件，robots.txt文件就

是起到这个作用的。我们都知道淘宝网是屏蔽百度的，靠的就是robots.txt文件。文件是如许书写的：

User-agent:
Baiduspider Disallow: / User-agent: baiduspider Disallow: /
　　2、robots.txt的作用：通过设置屏蔽搜索引擎，使之不需要页面被收录，可以大大降低抓取页面

所占用的网站带宽，大型网站尤为显明了。设置robots.txt文件可以指定某个搜索引擎不去索引不想被

收录的URL，比如我们通过url重写将动态URL静态化为永世固定链接，就可以通过robots.txt设置权限

，阻止某些搜索引擎索引那些动态网址，网站重复页面将削减，有利于seo优化。
　　3、robots.txt 怎么写：下面以WordPress博客来作举例。如robots.txt文件里写入以下代码：

User-agent: *
Disallow: Allow: /
robots.txt写法中应该细致的几点。1、robots.txt必须上传到网站根名录下，不能放在子目录下;2、

robots.txt，Disallow等必须细致大小写，不能转变;3、User-agent，Disallow等后面的冒号必须是英

文状况下的。
    4、User-agent是透露表现搜索引擎(spider)的：星号“*”代表所有spider