爬行和索引的区别.pptVIP

爬行和索引的区别 Use Arial Font 　爬行和索引是seo的两个专业术语，当很多新手接触seo的时候，他们会将这两个词混合使 用，认为爬行就是索引。今天笔者就和大家仔细讲述一些爬行好索引之间的区别是什么？ 　　1、爬行 　　当搜索引擎蜘蛛在站点中发生爬行时，站点中有一个并且只有唯一一个url被抓取，搜索引 擎可以从其他网页的链接跟踪爬行到这个站点中，所以对爬行的认识就是搜索引擎按照链接对 站点特定的url进行抓取。 　　可能上面的概念比较抽象，我们举例简单说明，比如说，在很多时候蜘蛛在爬行站点的时 候，站点中的有些链接就不能被抓取，比如： 　　(1)链接编码是Javascript，因为这被称为“蜘蛛陷阱”，爬行站点的时候，蜘蛛会自动屏 蔽爬行这些链接。 　　(2)链接被标记为robots.txt的 “禁止指令。 　　(3)孤立的链接(没有人挂的情况下的sitemaps.xml，包括如链接) 　　(4)链接所在的页面是一个包含链nofollow指令的页面 　　(5)本来是要抓取的链接，但是因为服务器不稳定的原因无法进行抓取。 2、索引 　　索引和爬行最大的区别就是，索引不是一个特定的url被抓取，而是页面中的很多歌url， 简单的说就是当搜索引擎确定好要索引哪个页面之后，它就会这个页面中的所有url进行处理和 抓取，在抓取的过程中，蜘蛛会根