Heritrix学习报告.pptxVIP

Heritrix学习报告 Huang Huijuan Heritrix是什么？ Heritrix简单的来说是一个网上开源的爬虫程序，通过这个程序可以找到网页中的资源，然后通过一定的筛选找到与某方面有关的资源，并且可以将其分类整合出一个电子图书馆。 Heritrix执行过程 执行过程：1. 在预定的 URI 中选择一个。 2. 获取该 URI 指向的网页内容 3. 分析或者归档爬得的结果 4. 选择已经发现的感兴趣的 URI 。加入预定队列。 5. 标记已处理过的 URI ，然后重复上述过程。 Heritrix架构 Heritrix主要部件 Scope决定了搜索的范围，在执行过程4中用来筛选URI Frontier判断URI是否已经被搜索过并决定下一个被处理的URI，在执行过程1,4中被用到 Processor Chains获取并处理被选中的URI，分析出结果，并将已处理完的告知Frontier，在执行过程2,3,4中被用到 部件详解 Web adminisitrative console和CrawlOrder前者是一个网络应用程序，用来组成crawlOrder的配置信息。而后者包含了一定信息，通过这个信息可以确定搜索的范围，初始化URI。 部件详解（续） Frontier确定访问的URI的顺序，确保URI之前未被访问过。他有一个存放URI的队列和已被访问过的URI表组成。从队列中取出将要处理的URI，并将处理完的URI放进已被访问过的URI表中。 部件详解（续） ToeThreads多线程接受从frontier传来的URI，使用多线程并行对URI进行轮流处理，每个处理过程遵循prefetch，fetch，extractor，write，postprocess，最后完成对该URI的处理后，将此URI传给frontier相应的表中。处理过程中得到的有用的URI就放到frontier的URI队列中。 部件详解（续） Servercache 该缓存存放一些与URI有关的可以共享的数据以及关于crawlserver的服务器信息如IP地址，历史记录，运行结果统计数据等。 流程详图