[robots的写法.docxVIP

网站robots的写法站长的工作是设计精美的网站，为大众展现网站丰富多彩的内容。当然，我们也希望精心设计的网站获得理想的排名，这就要求我们去研究搜索引擎排名规律，最大程度的获得机会展现给客户。然而，搜索引擎种类很多，有时候，我们对某一种搜索引擎的排名很好，却在另外的搜索引擎上面获得不到一样的排名，原因是各个搜索引擎规则不一样。为此，有人复制出相同的内容以应付不同搜索引擎的排名规则，制造出大量的重复页面。搜索引擎一旦发现就会给予惩处。为此，robots的出现了。 robots的基本概念和功能robots.txt文件是网站的一个文件，它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。robots.txt也可用在某一目录中。对这一目录下的文件进行搜索范围设定。几点注意：网站必须要有一个robots.txt文件。文件名是小写字母。当需要完全屏蔽文件时，需要配合meta的robots属性。robots具有两个主要功能：一个功能是屏蔽重复页面另一个功能是屏蔽如让抓取的页面?比如隐私。对于不同的搜索引擎展现不同的搜索路径，在robots中有哪些搜索引擎和其对应的User-agent呢？下面，我列出了一些，以供参考。搜索引擎 User-Agent AltaVista Scooter baiduBaiduspiderInfoseek Infoseek Hotbot Slurp AOL SearchSlurp Excite ArchitextSpider Google Googlebot Goto Slurp Lycos Lycos MSN Slurp Netscape Googlebot NorthernLight Gulliver WebCrawler ArchitextSpider Iwon Slurp Fast Fast DirectHit Grabber Yahoo Web Pages Googlebot Looksmart Web Pages Slurp 二、robots.txt的语法内容项的基本格式：域: 值对。1） User-Agent域后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baiduspider，谷歌是Googlebot。一般我们这样写：User-Agent: *表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某一个搜索引擎蜘蛛来爬行，在后面列出名字即可。如果是多个，则重复写。注意：User-Agent:后面要有一个空格。在robots.txt中，键后面加：号，后面必有一个空格，和值相区分开。2）Disallow域该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。例如：Disallow: /index.php 禁止网站index.php文件Allow域该键说明允许搜索引擎蜘蛛爬行的URL路径例如：Allow: /index.php 允许网站的index.php通配符*代表任意多个字符例如：Disallow: /*.jpg 网站所有的jpg文件被禁止了。结束符$表示以前面字符结束的url。例如：Disallow: /?$ 网站所有以？结尾的文件被禁止。三、robots.txt实例分析例1. robots.txt 允许与禁止蜘蛛的写法#禁止所有蜘蛛爬任何目录User-agent: *Disallow: /#允许所有蜘蛛爬任何目录User-agent: *Disallow:#允许百度蜘蛛爬，禁止其他蜘蛛爬任何目录User-agent: baiduspiderDisallow:User-agent: *Disallow: /例2 robots.txt中的文件与目录误写法：User-agent: *Disallow: /dir1/ /dir2/ /dir3/正确写法：User-agent: *Disallow: /dir1/Disallow: /dir2/Disallow: /dir3/Disallow: /help.html不允许所有搜索引擎蜘蛛爬dir1、dir2、dir3这三个目录及help.html这个文件！特别注意的是，不要省略掉目录名后的“/”，不然，Spider便极有可能误读相应的设置。例3 robots.txt中限定项的顺序错误写法：User-agent: *Disallow: /User-agent: GooglebotDisallow:该设定本意是想允许Google访问所有页面，同时禁止其他Spider的访问。但在这样的设置下，Googlebot在读取前2行后便会离开网站，后面对其的“解禁”完全失去了意义。正确写法：User-agent: GooglebotDisallow:User-agent: *Disallow: /其他很多情况呢