网站受robots文件限制的解决方案.pptxVIP

网站受robots文件限制的解决方案 什么是robots文件 Robots文件是一个协议文件，是搜索引擎和网站之间的一个抓取协议。 Robots文件规定了搜索引擎哪些内容可以抓取，哪些内容不能抓取，让搜索引擎在抓取的时候有依据。 搜索引擎在抓取一个网站的时候，首先会看看网站有没有robots文件，如果有的话会依据robots文件规定进行抓取的。 当然搜索引擎蜘蛛抓取的时候有时候也会不遵守这个协议文件。 网站出现抓取限制的原因 在有的时候会出现一种情况，网站很久都没有收录，检查的时候会出现如下提示：网站受robots文件限制。 这个时候有的人会很疑惑，明明网站没有robots文件怎么会出现这样的情况呢？那是因为网站程序的原因，有些程序在默认的空间中就有这样的写法。 解决方案就是：重新写一个robots文件，上传到网站根目录，重新提交robots文件。 Robots的写法  robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：        field:optional spacevalueoptionalspace“ 通俗一点讲究是：搜索引擎蜘蛛名称 用户名：/路径地址。如： User-agent: Baiduspider Disallow: /a/abc.jpg意思就是允许百度蜘蛛抓取目录下面的。abc.jpg这张图片 书写robots需要注意的问题 如果对于robots不熟悉，那么就不要贸然进行书写。 Disallow和Allow两者在使用的时候要注意，在后面要加上冒号，格式为： Allow: /路径或者是Disallow: /路径,其中冒号后面的空格一定不能少。少了的话如果是用的Disallow那么就会整站禁止抓取。 至于通配符*和结束符$可以到熟练之后进行使用。 网站不做robots是很不好的，因为robots还有另外一个好处，那就是可以把网址地图写在里面格式为：Sitemap:/sitemap.xml Robots文件不是所有搜索引擎蜘蛛都会遵守在，这个也只是一个单方面的协议，搜索引擎有时候也不一定遵守。 Robots文件在生效方面也是有一定的时间性的。根据搜索引擎不同生效时间也不相同。