搜索引擎通过一种程序Robot（又称Spider），自动访问互联网上的网页并获取网页信息。你可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt应放置于网站的根目录下。

下面说说robots.txt文件的基本写法格式：

1. 允许所有搜索引擎收录本站的任何内容：robots.txt为空就可以，或者干脆不需要。

2. 禁止搜索引擎收录网站的某些目录或某页面：
　User-agent: *
　Disallow: /目录名1/
　Disallow: /目录名2/
　Disallow: /目录名3/某页面

3. 禁止某个搜索引擎收录本站，例如禁止百度：
　User-agent: Baiduspider
　Disallow: /

4. 禁止所有搜索引擎收录本站：
　User-agent: *
　Disallow: /

使用好robots.txt是有利于SEO的，我们并不是希望搜索引擎收录自己网站的页面越多越好，而是越精越好，如果网站中存在一些与主题无关的页面（如活动公告页、广告页面、会员列表页等等），不让收录反而更好。