关于robots的写法网上有很多的介绍，Robots可以用来防止搜索引擎抓取那些我们不想被搜索引擎索引的内容，很多网站都在里面加入网站的地图sitemap.xml，这样可以让蜘蛛快速的爬行网站。
格式：
User-agent: *
Disallow:
Sitemap:sitemap.xml
我们来看看一些大型网站的robots.txt是怎么样写的！
淘宝的robots.txt，屏蔽了百度蜘蛛
QQ在robots中加入了sitemap
打开qq的sitemap之后发现，存在这样的压缩包，下载回来打开里面放的是sitemap，难道蜘蛛可以分析压缩包了？像我还是头一次见到这样的写法。
CCTV也同样是这样的写法
在robots.txt中加入sitemap这样做到底能不能增加收录，站长朋友们不妨试试！最后感谢瓜视云点播www.tvgua.com站长提供配图！
转载请注明：SEO爱站网 » 怀化网站优化:robots.txt 原来还可以这样写
