毕设2预答辩二预答辩-余秦.pdfVIP

本 科 毕 业 设 计 院 系 计算机科学与技术系 专 业 计算机科学与技术 题 目 分布式网络爬虫的设计与实现应用 年 级 2011 级 学 号 111220166 学生姓名 余秦 指导老师 王崇骏 职 称 教授 论文提交日期 2015 年5 月24 日 题目： 分布式网络爬虫的设计与实现应用 计算机科学与技术 院系 计算机科学与技术 专业 2011 级本科生 姓名： 余秦 指导教师（姓名、职称）： 王崇骏 教授 摘要： 随着互联网网络规模和用户数量的爆炸性增长，相关的服务和信息量也 随之快速增长，单纯依赖计算机单机处理能力的集中式网络爬虫信息采集的 速度已经 快速获取大量数据的需求。分布式网络爬虫由可并行获取 资源的多个节点爬虫组成，具有良好的可扩展性,它们在数