分布式网络爬虫的设计与实现应用答辩.pptxVIP

我们毕业啦 其实是答辩的标题地方;研究背景;;;;;;;;Nutch搜索引擎;增量式爬取策略;Bloom过滤器;连接池与线程池;;整体结构：主从式结构 控制节点负责调度，分发任务 爬行节点负责爬行网页，反馈 优点： 实现简单，利于管理 相对通信量较少 添加节点简单 通信方式：基于TCP/IP的Socket通信 优点：可靠的传输连接;主要是四种与URL相关的数据结构 RawData，InterfaceURL，PackagedURL，ErrorURL 组织URL队列：PackagedURL;报文设计;控制节点崩溃： 控制节点、爬虫节点都要保存日志，系统恢复正常时，存储日志能够提供已爬取和未爬取URL的信息 爬虫节点崩溃： 若是由于控制节点或整个系统的崩溃，爬虫节点将未爬取的URL本地完整保存 若是由于节点爬虫崩溃，爬虫节点应将未爬取的URL回送给控制节点;;以爬虫节点向中心节点发送爬取到的URL的任务为例： IsoMessage message_return = new IsoMessage(0x510,fields_return,message_temp.getPackagedURL());;FinishConfirm：中心节点收到爬虫节点发过来的完成任务的URL信息时，除了从待确认URL列表中将该部分URL删除，还要返回给爬虫节点一个确认信息，供爬虫节点操作。 Inquiry：中心节点需要随时了解爬虫节点的运行状态，采用轮询检测爬虫节点是否出现故障。 ProcessErrorURL：将ErrorURL依次在所有没有被爬取过的爬虫节点上进行爬取，如果都没有爬取到结果，就说明是这个URL有问题，将其丢弃。当中，要使用Thread.sleep(time)控制频率。;;网络环境：南京大学校园网（平均带宽约为2M） 编码软件：Eclipse 数据库：MySQL 项目数据：苏州贷后风险平台项目数据（2000个数据源）;同时运行一个中央节点和一个爬虫节点，观察并记录运行状态 同时运行一个中央节点和两个爬虫节点，观察并记录运行状态 同时运行一个中央节点和六个爬虫节点，观察并记录运行状态 同时运行一个中央节点和十二个爬虫节点，观察并记录运行状态;;;;总结： 该分布式网络爬虫运行时间与爬虫数量近似成正比关系，这说明各爬虫节点充分发挥其网络带宽，达到相对较高的爬行速度。 爬虫爬取的效率没有随着爬虫节点的增加而降低，这体现了中央节点在爬行过程中的调控没有给爬虫节点带来过多的负担。 ???分布式网络爬虫取得了预期想要的效果。 展望： 折线图略有曲折，可能是由于网络的稳定性、出错URL的处理时间、爬取网站的速度不一等多种情况综合产生。 当爬虫数量达到一定个数时，爬行的效率也会遇到瓶颈，无法继续正比增长 ;THANKS