Heritrix源码分析.doc

heritrix 百科名片?? heritrix Heritrix是一个爬虫框架，可加如入一些可互换的组件。简介 　　它的执行是递归进行的，主要有以下 ?? Heritrix 有Web 控制管理界面 几步： 　　1。在预定的URI中选择一个。 　　2。获取URI 　　3。分析，归档结果 　　4。选择已经发现的感兴趣的URI。加入预定队列。 　　5。标记已经处理过的URI 　　它是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程 　　Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，对网上的 　　资源进行归档，建立网络数字图书馆，在过去的6年里，IA已经建立了400TB的数据。 　　最新版本:heritrix-1.15.4 　　IA期望他们的crawler包含以下几种： 　　宽带爬虫：能够以更高的带宽去站点爬。 　　主题爬虫：集中于被选择的问题。 　　持续爬虫：不仅仅爬更当前的网页还负责爬日后更新的网页。 　　实验爬虫：对爬虫技术进行实验，以决定该爬什么，以及对不同协议的爬虫 爬行结果进行分析的。 部件 主要部件 　　Heritrix主要有三大部件：范围部件，边界部件，处理器链 　　范围部件：主要按照规则决定将哪个URI入队。 　　边界部件：跟踪哪个预定的URI将被收集，和已经被收集的URI，选择下一个 URI