分布式采集系统总体设计方案.docVIP

分布式采集系统 总体设计方案 贺志明 2010-4-8 第一篇 系统总体设计 系统流程图 系统体系结构 体系结构概述 分布式采集系统是建立在hadoop分布式文件系统和zookeeper分布式协调系统基础之上的，所有的数据都存储在分布式文件系统hdfs上，服务器之间的通信、同步等操作都是通过zookeeper服务器完成。 采集器的设计 全网采集器共分三部分：TaskListner，Crawler，ResultSummiter。 TaskListner模块：用JAVA语言编写，为了方便的与ZOOKEEPER和HDFS通信。它的主要作用是监测任务文件夹，发现有任务文件生成，便调用一个Crawler程序对任务进行采集。TaskListner可以同时调用多个Crawler程序进程，并行采集。 Crawler模块：用C++语言编写，它的主要作用是对任务文件中的URL进行采集，采集完成后调用ResultSummiter函数将采集结果上传到HDFS上。 ResultSummiter模块：用JAVA语言编写。它的主要作用是将Crawler采集后的结果转化成特定格式（Nutch文件格式），上传到HDFS上。 HDFS文件系统中的文件结构 spider_Master从HDFS中取得待采的URL列表 spider_Master把待采列表分割成一个个采集任务文件 spider_Master把采集任务分配给采集器 各个采集器从HDFS上取出任务 采集器下载网页，提取元信息 采集器把采集结果和提取出来的元信息上传到HDFS上特定的文件夹中。