robots文件及写法.pdfVIP

robots⽂件和写法 什么是robots⽂件 robots是站点与spider沟通的重要渠道，站点通过robots⽂件声明该⽹站中不想被搜索 引擎收录的 分或者指定搜索引擎只收录特定的 分。请注意，仅当您的⽹站包含不 希望被搜索引擎收录的内容时，才需要使⽤robots.txt⽂件。如果您希望搜索引擎收录 ⽹站上所有内容，请勿建⽴robots.txt⽂件。为了避免站长在设置robots⽂件时出现，百 度站长平台特别推出了robots⼯具，帮助站长正确设置robots 。 robots.txt⽂件的格式 robots⽂件往往放置于根⽬录下，包含⼀条或更多的记录，这些记录通过空⾏分开 （以CR ,CR/NL , or NL作为结束符），每⼀条记录的格式如下所⽰： field:optional spacevalueoptionalspace 在该⽂件中可以使⽤#进⾏注解，具体使⽤⽅法和UN X 中的惯例⼀样。该⽂件中的记 录通常以⼀⾏或多⾏User-agent开始，后⾯加上若⼲Disallow和Allow⾏,详细情况如 下： User-agent:该项的值⽤于描述搜索引擎robot的名字。在robots.txt⽂件中，如果 有多条User-agent记录说明有多个robot会受到robots.txt的限制，对该⽂件来说，⾄少 要有⼀条User-agent记录。如果该项的值设为* ，则对任何robot均有效， 在robots.txt⽂件中，User-agent:*这样的记录只能有⼀条。如果在robots.txt⽂件 中，加⼊User-agent:SomeBot和若⼲Disallow 、Allow⾏，那么名为SomeBot只受 到User-agent:SomeBot后⾯的 Disallow和Allow⾏的限制。 Disallow:该项的值⽤于描述不希望被访问的⼀组URL ，这个值可以是⼀条完整的 路径，也可以是路径的⾮空前缀，以Disallow项的值开头的URL不会被 robot访问。例 如Disallow:/help 禁⽌robot访问/help .html、/helpabc .html、/help/index .html ， ⽽Disallow:/help/ 则允许robot访问/help .html、/helpabc .html ，不能访 问/help/index .html 。Disallow:说明允许robot访问该⽹站的所有url ，在/robots.txt⽂ 件中，⾄少要有⼀条Disallow记录。如果/robots.txt不存在或者为空⽂件，则对于所 有的搜索引擎robot ，该⽹站都是开放的。 Allow:该项的值⽤于描述希望被访问的⼀组URL ，与Disallow项相似，这个值可 以是⼀条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot 访问的。例如Allow:/hibaidu 允许robot访 问/hibaidu .htm 、/hibaiducom .html、/hibaidu/com .html 。⼀个⽹站的所有URL默认 是Allow的，所以Allow通常与Disallow搭配使⽤，实现允许访问⼀ 分⽹页同时禁⽌ 访问其它所有URL 的功能。 使⽤* and $ ：Baiduspider⽀持使⽤通配符*和$来模糊匹配url 。 * 匹配0或多个任意字符 $ 匹配⾏结束符。 最后需要说明的是：百度会严格遵守robots的相关协议，请注意区分您不想被抓取或 收录的⽬录的⼤⼩写，百度会对robots中所写的⽂件和您不想被抓取和收录的⽬录做 精确匹配，否则robots协议⽆法⽣效。 robots.txt⽂件⽤法举例 ⽹站误封Robots该如何处理 robots⽂件是搜索⽣态中很重要的⼀个环节，同时也是⼀个很细节的环节。很多站长 同学在⽹站运营过程中，很容易忽视robots⽂件的存在，进⾏错误覆盖或者全 封禁 robots ，造成不必要损失 ！ 那么如果误操作封禁了robots怎么办？今天我们请到了厦门258⽹站运营负责⼈——郑 军伟，为我们分享⽹站robots误封禁后该如何操作？ 【案例背景】 ⽹站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开发版本，要求技术 ⼈员设置了Robots封禁处理。2.0版本开发周期1个⽉，1个⽉后⽹站版本迭代，直接覆 盖了1.0版本，包括Robots封禁⽂件，