nutch流程解析.docVIP

一、Injector初始化crawldb的总体过程： injector.inject(crawlDb, rootUrlDir); 第一个，还是详细点，我把上面的总体过程分为两步： 第一步： 第二步： 二、Generator产生新的segment: generator.generate(crawlDb, segments, -1, topN, System.currentTimeMillis()); 三、Fetcher抓取页面 四、ParseSegment解析下载内容 五、CrawlDb更新抓取url库 六、LinkDb更新linkdb库 七、Indexer创建索引 抓取时候的流程图草稿： urlDir urlDir+current-current crawldb current urlDir 是程序入口时，用户指定的那个