【YC祝君成功】从淘宝屏蔽百度说说，robots.txt的用法 (2008/09/10 13:13)

依然是YC祝君成功系列。也就是郭健的原创系列了。

恩，这篇内容比较专业，跟网站关系很密切，如果你有网站，也来看看吧。

郭健的目标：打造祝君成功网站建设品牌，一起加油！！！
------------------------------------------------------------

最近，淘宝屏蔽百度蜘蛛（就是在百度以后搜索不到淘宝的店铺内容啦）的事件得到了大家的广泛关注，关于为啥淘宝要屏蔽百度的说法众说纷纭。我们就不去探讨啦。

我们来说说，淘宝是怎么禁止百度去抓取自己的内容的呢，这就是今天要说的robots.txt。

1、robots.txt 是什么

robots.txt主要用来控制搜索引擎收录内容，在里面可以写上搜索引擎都认可的规则，从而告诉搜索引擎哪些文件和目录可以收录，哪些不可以收录。

2、robots.txt用法

通常，大家都喜欢让蜘蛛来收录网页（这样大家就能搜索到啦），可以不禁止任何蜘蛛，robots.txt为空，或者

User-agent: *
Disallow:

但是，如果你的文件非常重要，不想被搜索引擎收录到，比如邮件的文件，加入你邮件所在目录为目录1，让蜘蛛不收录这个目录，可以这样写：

User-agent: *
Disallow: /目录名1/

类似，如果屏蔽多个目录，这样写：

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

User-agent:后面的*代表所有的搜索引擎，如果你指想屏蔽一个搜索引擎，比如百度，可以这么写（淘宝就是这么干的）:

User-agent: Baiduspider
Disallow: /

禁止所有搜索引擎收录本站，就是：

User-agent: *
Disallow: /