下载系统综合实验.pptVIP

处理链列表 ProcessorChainList 五种处理链运行在抓取线程中 Pre Processors Processors that should run before any fetching Fetchers Processors that fetch documents using various protocols Extractors Processors that extracts links from URIs Writers Processors that write documents to archive files Post Processors Processors that do cleanup and feed the Frontier with new URIs * 处理链列表的三个层次 Processor //处理器 链接的单个处理器 调用filterAccept判断进行内部处理或拒绝 可以处理调用innerProcess方法 拒绝处理调用innerRejectProecess方法 ProcessorChain //处理链 同类型的若干处理器 ProcessorChainList//处理链列表 Heritrix一次抓取任务所有处理链的集合 * Heritrix爬虫 开发环境搭建 Heritrix架构 扩展和定制Heri