恩，这篇内容比较专业，跟网站关系很密切，如果你有网站，也来看看吧。
郭健的目标：打造祝君成功网站建设品牌，一起加油！！！
------------------------------------------------------------
最近，淘宝屏蔽百度蜘蛛（就是在百度以后搜索不到淘宝的店铺内容啦）的事件得到了大家的广泛关注，关于为啥淘宝要屏蔽百度的说法众说纷纭。我们就不去探讨啦。
我们来说说，淘宝是怎么禁止百度去抓取自己的内容的呢，这就是今天要说的robots.txt。
1、robots.txt 是什么
robots.txt主要用来控制搜索引擎收录内容，在里面可以写上搜索引擎都认可的规则，从而告诉搜索引擎哪些文件和目录可以收录，哪些不可以收录。
2、robots.txt用法
通常，大家都喜欢让蜘蛛来收录网页（这样大家就能搜索到啦），可以不禁止任何蜘蛛，robots.txt为空，或者
User-agent: *
Disallow:
但是，如果你的文件非常重要，不想被搜索引擎收录到，比如邮件的文件，加入你邮件所在目录为目录1，让蜘蛛不收录这个目录，可以这样写：
User-agent: *
Disallow: /目录名1/
类似，如果屏蔽多个目录，这样写：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
User-agent:后面的*代表所有的搜索引擎，如果你指想屏蔽一个搜索引擎，比如百度，可以这么写（淘宝就是这么干的）:
User-agent: Baiduspider
Disallow: /
禁止所有搜索引擎收录本站，就是：
User-agent: *
Disallow: /
( 该文章转自论坛：【YC祝君成功】从淘宝屏蔽百度说说，robots.txt的用法 )
