论文：分布式网络爬虫的设计与实现应用.docxVIP

本 科 毕 业 论 文 院 系 专 业 题 目 分布式网络爬虫的设计与实现应用 年 级 学 号 学生姓名 指导老师 职 称 论文提交日期 20xx年x月x日 Xx 大 学 本科生毕业论文（设计、作品）指导情况记录 开 题 简 况 题目：分布式网络爬虫的设计与实现应用 1、选题质量（简述选题与专业培养目标、专业要求关系、题目难度、工作量、创新性、理论性、实用性） 分布式网络爬虫的设计与实现应用在对分布式网络爬虫进行了一定的研究的基础上，结合实际背景，分析与设计爬虫运行策略，并通过实验证明其系统的高效性和可扩展性。本选题从理论出发，充分积累网络爬虫设计经验，将理论运用于实践，在系统设计与实现的过程中，加深了对理论的认识。具体而言，本选题在理论的指导下从整体结构、逻辑设计、通信设计等角度深入探讨，对选取的算法进行介绍与解释，在系统实现的过程中，又丰富了数据结构设计、线程控制、数据库连接等多方面的知识，锻炼系统编程的能力，让学生熟悉和掌握系统设计与实现应用的一般流程和分布式网络爬虫的具体实现方法，培养了学生分析问题、系统设计、技术应用等多种能力，并让其有了一定的项目意识和实践经验。本选题难度和工作量适中，适合本科生的知识结构和能力水平，创新性在于分布式网络爬虫控制策略的研究与选择，理论性在于对爬虫爬行原理的研究，实用性在于可以为苏州贷后风险平台及其他项目提供高效有用的信息采集结果。 2、开题意见： 本选题实用性较高，难度和工作量适中，具有一定的创新性，适合本科生开展研究，能很好地培养本科生的科学研究思维和项目组织与实现的能力。 指导教师签名： 年 月 日 中期检查 指导教师检查论文的进展情况：（指导和培养学生查阅文献资料、综合运用知识、研究方案设计、研究方法和手段运用和外文应用等能力简况） 该学生的论文严格按照开题时制定的论文计划进行，很好地完成了预定目标，在了解项目背景知识的基础上，目前已经完成对系统架构的设计，并开始进行分布式网络爬虫的代码编写工作。在项目已完成内容的基础上，进行了绪论、相关技术基础和爬虫逻辑设计部分的论文撰写，论文结构紧凑，文字通顺流畅，具有较强的逻辑性。 指导教师签名： 年 月 日 - 1 - xx 大 学 本科生毕业论文（设计、作品）指导教师评阅意见 指导教师评语： 指导教师签名： 年 月 日 - 2 - Xx 大 学 本科生毕业论文（设计、作品）评阅教师评阅意见 评阅教师评语： 评阅教师签名： 年 月 日 - 3 - xx 大 学 本科生毕业论文（设计、作品）答辩记录、成绩评定 答辩记录： 1、项目工作中的难点所在。 难点在于选定项目题目之前，对项目所研究的分布式网络爬虫了解并不多。因此，在选定题目后，以Nutch搜索引擎为例，对搜索引擎及其中的爬虫进行了深入的研究，了解和分析爬虫运行过程，通过对比认真选择和设计该系统中需要使用到的算法及策略，最终在编码实现各项功能的时候，控制节点和爬虫节点不同的多线程的管理也给项目带来了难度。 2、与Nutch相比，开发系统的意义是什么？ Nutch是优秀的开源搜索引擎，可以对海量的URL进行爬行与管理，但是其中的爬虫是为搜索引擎而专门设计的，不适用于精准数据爬取，因此，Nutch运行的过程中，会浪费很多的时间在不必要的计算上，即使对Nutch进行二次开发，也会破坏Nutch的框架，失去原本的优势。而且Nutch依赖Hadoop运行，Hadoop本身会消耗很多的时间，如果集群机器数量较少，爬取速度反而不如单机爬虫快。 本文所研究的分布式网络爬虫从实际项目背景出发，在保证爬行效率的基础上，强化系统可扩展性，使其能够适应多种类型数据。 答辩记录人签名： 答辩小组评语： 答辩小组成员：________________________________________ 成绩____________ 组长签名： 答辩时间： 年 月 日 - 4 - PAGE IV