Google搜索引擎及其实现技术.pdfVIP

30 广西工学院学报　　　　　　　　　　　　　　　　　　 2004 年 6 月　 1 　网络蜘蛛 1 1 　　搜索引擎需要定期收集信息 。 Google 定期地 (一般是 28 天 ) 派出网络蜘蛛 (也称 craw ler , 即“爬行者”) 根据预先设定的 IP 地址范围遍历对应的网页 , 如果网页发生变化或者发现新的网页 , 则获取该网页 , 传回服 务器 , 然后继续沿网络遍历 ,