robots
| emap.xml
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。 5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。 robots.txt文件的格式 "robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示： "<field>:<optionalspace><value><optionalspace>"。 在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下： User-agent: 该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。 Disallow: 该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow:/help/"则允许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。 Allow: 该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。 需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。 使用"*"和"contentquot;： robots支持使用通配符"*"和"contentquot;来模糊匹配url： "contentquot; 匹配行结束符。 "*" 匹配0或多个任意字符。 robots.txt语法教程 用几个最常见的情况，直接举例说明： 1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。 2. 禁止所有SE收录网站的某些目录： User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 3. 禁止某个SE收录本站，例如禁止百度： User-agent: Baiduspider Disallow: / 4. 禁止所有SE收录本站： User-agent: * Disallow: / 5. 加入sitemap.xml路径, 常见Robots名字 名称 搜索引擎 google蜘蛛： googlebot 百度蜘蛛：baiduspider yahoo蜘蛛：slurp alexa蜘蛛：ia_archiver msn蜘蛛：msnbot altavista蜘蛛：scooter lycos蜘蛛： lycos_spider_(t-rex) alltheweb蜘蛛： fast-webcrawler/ inktomi蜘蛛： slurp 一个在线写robots.txt的工具。 最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录 Robots META标签的写法 Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。 INDEX 指令告诉搜索机器人抓取该页面； FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去； Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它， |
