14
2009
05

正确使用robots.txt至关重要,你用了吗

最近经常有朋友问我一些robots的问题,今天我就将robots使用的一些心得和技巧和大家一起分享一下,欢迎各位拍砖指正。

robots性质:TXT的文本文件。

应用原理:当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

方法:User-Agent: 适用下列规则的漫游器  Disallow: 要拦截的网页  ,下面是一些常用的robots文件的写法,供大家参考

...

«1»