小七SEO教程二搜索引擎蜘蛛如何抓取网页.docVIP

搜索引擎看似简单的抓取-入库-查询工作，但其中各个环节暗含的算法却十分复杂。搜索引擎抓取页面工作靠蜘蛛(Spider)来完成，抓取动作很容易实现，但是抓取哪些页面，优先抓取哪些页面却需要算法来决定，下面介绍几个抓取算法： 　　1、宽度优先抓取策略： 　　我们都知道，大部分网站都是按照树状图来完成页面分布的，那么在一个树状图的链接结构中，哪些页面会被优先抓取呢?为什么要优先抓取这些页面呢?宽度优先抓取策略就是按照树状图结构，优先抓取同级链接，待同级链接抓取完成后，再抓取下一级链接。如下图： 　　 ? 　　大家可以发现，我在表述的时候，使用的是链接结构而不是网站结构。这里的链接结构可以由任何页面的链接构成，并不一定是网站内部链接。这是一种理想化的宽度优先抓取策略，在实际的抓取过程中，不可能想这样完全宽度优先，而是有限宽度优先，如下图： ? 　　上图中，我们的Spider在取回G链接时，通过算法发现，G页面没有任何价值，所以悲剧的G链接以及下级H链接被Spider给和谐了。至于G链接为什么会被和谐掉?好吧，我们来分析一下。 　　2、非完全遍历链接权重计算： 　　每个搜索引擎都有一套pagerank(指页面权重，非google PR)计算方法，并且经常会更新。互联网近乎无穷大，每天都会产生海量的新链接。搜索引擎对于链接权重的计算只能是非完全遍历。为什么Google PR要三个月左右才更新