面向IT的分布式主题爬虫的 设计及实现-计算机应用技术专业毕业论文.docxVIP

万方数据 万方数据 CODE：10402 NO.：2013142002 U.D.C.： Classified Index： A Dissertation for the Master Degree of Engineering Design and Implementation of IT-oriented Distributed Topic Crawler Candidate: Wei Lu Supervisor: Prof. PeiRong Lin Academic Degree Applied for: Master of Engineering Specialty: Computer Application Technology University: Minnan Normal University Date of Oral Examination: June, 2016 闽 南 师 范 大 学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研 究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文 中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权闽南师范大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1、保密□，在 年解密后适用本授权书。 2、不保密□。 （请在以上相应方框内打“√”） 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 摘 要 摘 要 互联网自诞生以来得到了迅猛的发展，Web 信息更是呈现出指数形式地增长。传统 的单机多线程主题爬虫已经不适合用来完成海量信息的抓取工作。正是在这样的背景 下，云计算的出现为解决大数据问题提供了一个良好的解决方案，其中 Apache 旗下的 顶级项目 Hadoop 分布式平台获得了业界的广泛关注。 本文在分析研究主题爬虫框架的基础上，着重介绍并分析了主题爬虫的主题模块、 相关度判别模块、页面下载模块等关键模块。接着，对主题特征选择问题进行了实验， 目的在于构建一个能够表征主题的特征向量。在主题爬虫爬行策略部分，在分析了基于 内容与链 接的爬行 策 略各自不 足之处之 后 ，提出了 一个基于 Shark-Search 算法与 PageRank 算法的组合算法。 本文的最后，先分析了开源爬虫 Nutch 的架构及工作流程，然后在 Nutch 相关模块 上加入主题判别模块，对相关的模块进行了测试，最后设计并实现了一个面向 IT 领域 的分布式主题爬虫。实验结果表明本文提出的主题爬虫组合算法是有效的，设计方案具 有一定的可行性。 关键词：主题爬虫；特征选择；Nutch；搜索策略 I 闽南师范大学工学硕士学位论文 II Abstract Abstract With the rapid development of the Internet, Web information is showing exponential growth. Traditional stand-alone multi-threading topical crawler is not suitable for the work of crawling mass of information. In this background, it provides a good solution to solve the big data problem with the emergence of cloud computing, in which the Apache project Hadoops distributed platform received widespread attention from the industry. On the basis of analyzing the framework of topic crawler, this thesis highlights and analyzes the key module of topic crawler, such as topic module, topics related discrimination module, page download module and so on