robots文件详解

robots是什么意思robots在英语之中的意思是机器人，而对我们SEOer所接触到的所讲的robots是一个txt文本形式的 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 ，形象的来说就是我们网站与搜索引擎沟通的一种方式，通过robots.txt协议我们可以告诉搜索引擎哪些页面是可以抓取的，哪些页面是不允许抓取的。所以搜索引擎来到一个网站的时候首先会访问的第一个文件就是存放在网站根目录之下的robots.txt。在了解了网站的设置之后就会按照要求来进行网站页面的抓取。robots.txt的使用 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 robots.txt的使用方法非常的简单，我们只需要建立一个文本文档以robots.txt命名在我们写好了 规则 编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf 之后直接将这个文本文档上传至网站的根目录就可以了。具体的写法我这里就不多说了，在百度搜索帮助中心-禁止搜索引擎收录的方法之中有非常详细的说明和 例子 48个音标大全附带例子子程序调用编程序例子方差分析的例子空间拓扑关系例子方差不存在的例子 。认真的看一看应该就能够自己写出符合自己网站的规则出来。同时在我们写好并上传了robots.txt之后，我们可以通过谷歌管理员工具后台的工具像谷歌一样抓取来测试我们所写的规则是否正确。robots.txt与nofollow标签的不同之处常常有人对于这两个东西弄混淆，实际上robots.txt和nofollow不同的地方还是很多的，robots.txt是用来限制网站某个页面不被收录的，告诉搜索引擎我不希望这个页面被收录或者是这种形式的页面不被收录，而nofollow标签则是告诉搜索引擎在这个页面之上不对这个页面上的链接传递权重或者是不对某一个特定的链接传递权重，并不意味着某一个链接加了nofollow标签它就不会被收录了。常见的robots蜘蛛baiduspider百度的综合索引蜘蛛Googlebot谷歌蜘蛛Googlebot-Image专门用来抓取图片的蜘蛛Mediapartners-Google广告联盟代码的蜘蛛YodaoBot网易蜘蛛Sosospider腾讯SOSO综合蜘蛛sogouspider搜狗综合蜘蛛YahooSlurp雅虎蜘蛛Yahoo!SlupChina雅虎中国蜘蛛Yahoo!-AdCrawler雅虎广告蜘蛛通过robots.txt我们可以对于特定的蜘蛛进行一些屏蔽，比如说我们可以让某一个页面允许被百度抓取而不让谷歌抓取，我们就需要在robots.txt之中通过User-agent:*(某个蜘蛛)这样的形式来控制某一个蜘蛛特定的权限。robots.txt的好处58时尚圈常常有很多的网站就是因为没有对robots.txt进行合理设置再加上自己的网站程序不够完善导致了很多垃圾页面或者是重复页面的收录，这样就会让网站的权重分散，大量的重复页面也会让网站收录变得不理想，出现需要被收录的没有被收录，不希望收录的倒是被收录了的情况，就拿wordpress来说*?replytocom=这个回复链接是常常被收录的，如果不进行屏蔽就会出线非常多的垃圾页面，所以一般情况下都会在robots.txt之中写上Disallow:/*?replytocom=将这种形式的链接全都屏蔽掉从而减少垃圾页面的收录关于WP的其它方法，可以参见本站的博客类优化方法。善用robots.txt让网站更有价值的页面被收录，减少垃圾页面和不必要的页面收录也是非常重要的一点。下面来看一下如何写robots.txt,和它的格式方法:该文本是以User-agent:作为文本 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 开头的。这个值有什么样呢？它是来描述搜索引擎robots的名字。比如说你要专指百度搜索引擎你就可以写为User-agent:baiduspider同样的谷歌就是User-agent:googlespider 比如你要描述SOSO图片蜘蛛你可以写User-agent:Sosoimagespider这样都可以如果你要针对所有搜索引擎呢User-agent:*就是所有搜索引擎全部概括了。robots.txt除了第一项User-agent:还有其他两项Disallow: Allow:但是User-agent:是唯一项他后面可以加若干Disallow和Allow行也就是这种格式User-agent:*Disallow:Disallow:Disallow:Allow:Allow:Allow:后面加多少个Disallow和Allow行都可以是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎我们来举个例子，比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢？来看一下User-agent:*Disallow:/admin/如果是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢前面我们说到了User-agent:baiduspiderDisallow:/admin/你问如果是要禁止所有搜索引擎访问全站应该什么办呢？我们来看一下User-agent:*Disallow:/如果要禁止访问多个文件夹呢比如我要禁止访问Admin image data3个文件夹User-agent:*Disallow:/Admin/Disallow:/image/Disallow:/data/我们来解释一下Allow行是做什么的？其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径，Allow通常与Disallow搭配使用。下面我们举个例子:我要允许访问特定目录中的部分url比如我不要他访问我Admin目录但是我希望他访问我Admin目录里面的hdd.html什么办呢？这时候我们就可以用到Allow了来看例子User-agent:*Allow:/admin/hddDisallow:/Admin/顺便所一下在robots.txt里面可以使用"*"和"$"：baiduspider支持使用通配符"*"和"$"来模糊匹配url。"$"匹配行结束符。"*"匹配0或多个任意字符。举个例子：使用"*"限制访问url  。禁止访问/iea/目录下的所有以".htm"为后缀的URL(包含子目录)。User-agent:*Disallow:/iea/*.htm再来举个例子关于使用"$"限制访问url，仅允许访问以".htm"为后缀的URL。User-agent:*Allow:.htm$Disallow:/接下来说说robots需要注意的问题：在User-agent后加入某个搜索引擎，例如User-agent:BaiduSpiderDisallow:/，如果没有加入，编写成User-agent:*Disallow:/形式，则是对网站所有内容的“屏蔽”。Robots.txt编写的meta问题在Robots.txt编写规则中，有一个取最强参数法则，而且如果网站以及页面标签上同时出现robots.txt文件和meta标签，那么搜索引擎就会服从两个规则中较为严格的一个，即禁止搜索引擎对于某个页面的索引，当然如果robots.txt文件和meta标签不是出现一个文件中，那么搜索引擎就会遵循就近原则，就会索引meta标签前的所有文件。Robots.txt编写的细节性问题1.反斜杠的插入还是以Disallow:/a/b.html为例，在编写该语句的时候，如果忘记加入了反斜杠，则是对全部内容进行开放，这与编写语句的想法相悖，因为反斜杠的意义是根目录。2.空格的出现空格的出现就很好理解了，因为搜索引擎对于这个特殊符号的出现并不识别，它的加入只会使语句失去应有的效用。现在大家理解我为什么说有人知道robots.txt文件，但是少有人知道该怎么正确编写了robots.txt文件了吧。其实robots.txt文件中还会其他的细节以及注意问题，在以后的时间里我会继续和说一下robots.txt文件编写中涉及到的目录大小、user-agent的数量等问题。原文提供者58时尚圈www.58ssq.com