[计算机]Nutch Crawler工作流程及文件格式详细分析.docVIP

Nutch Crawler工作流程及文件格式详细分析 Crawler和Searcher两部分被尽是分开，其主要目的是为了使两个部分可以布地配置在硬件平台上，例如Crawler和Searcher分别被放置在两个主机上，这样可以极大的提高灵活性和性能。一、总体介绍： ??? 1、先注入种子urls到crawldb??? 2、循环： generate 从crawldb中生成一个url的子集用于抓取 fetch 抓取上一小的url生成一个个segment parse 分析已抓取segment的内容 update 把已抓取的数据更新到原先的crawldb ??? 3、从已抓取的segments中分析出link地图??? 4、索引segment文本及inlink锚文本二、相关的数据结构： ??? Crawl DB● CrawlDb 是一个包含如下结构数据的文件:??? ??? ??? URL, CrawlDatum● CrawlDatum:??? ??? status, date, interval, failures, linkCount, ...● Status:??? ??? ? {db_unfetched, db_fetched, db_gone,linked,??? ??? ??? fetch_success, fetch_fail, fetch_gone}　　爬虫Crawler：??? Crawler的工作流程包括了整个nutch的所有步骤－－injector,generator,fetcher,parseSegment, updateCrawleDB,Invert links, Index ,DeleteDuplicates, IndexMerger??? Crawler涉及的数据文件和格式和含义，和以上的各个步骤相关的文件分别被存放在物理设备上的以下几个文件夹里，crawldb,segments,indexes,linkdb,index五个文件夹里。??? 那么各个步骤和流程是怎么，各个文件夹里又是放着什么呢？??? 观察Crawler类可以知道它的流程./nutch crawl urls -dir ~/crawl -depth 4 -threads 10 -topN 2000??? 1、Injector injector = new Injector(conf); ??? ??? ??? Usage: Injector crawldb url_dir ??? ??? 首先是建立起始url集，每个url都经过URLNormalizers 、filter 和scoreFilter 三 个过程并标记状态。首先经过normalizer plugin,把url进行标准化，比如basic　nomalizer的作用有把大写的url标准化为小写，把空格去除等等。然后再经过的plugin 是filter，可以根据你写的正则表达式把想要的url留下来。经过两个步骤后，然后就是把这个url进行状态标记，每个url都对应着一个 CrawlDatum,这个类对应着每个url在所有生命周期内的一切状态。细节上还有这个url处理的时间和初始时的分值。　　同时，在这个步骤里，会在文件系统里生成　如下文件　crawlDB\current\part-00000　　这个文件夹里还有.data.crc , .index.crc, data, index四个文件● MapReduce1: 把输入的文件转换成DB格式??? In: 包含urls的文本文件??? Map(line) → url, CrawlDatum; status=db_unfetched??? Reduce() is identity;??? Output: 临时的输出文件夹● MapReduce2: 合并到现有的DB??? Input: 第一步的输出和已存在的DB文件??? Map() is identity.??? Reduce: 合并CrawlDatum成一个实体(entry)??? Out: 一个新的DB　　??? 2、Generator generator = new Generator(conf);//Generates a subset of a crawl db to fetch??? ??? Usage: Generator crawldb segments_dir [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter]??? ?? 在这个步骤里，Generator一共做了四件事情，??