分布式网络爬虫技术研究与实现-信息安全专业论文.docx

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘 要 摘 要 互联网的爆炸性发展使得其规模由 1993 年的数千个网页发展为现在的数十亿 个网页，并且这个数字还在疯狂膨胀中。随着互联网的规模迅速增长，其相关的 服务和信息量也随之快速增长。在这些信息得到人们广泛应用的同时，专门负责 互联网信息收集工作的网络爬虫也面临着巨大的挑战。目前，国内外的大型互联 网公司、相关研究机构（如：Google、百度等）已经给出了一些较为成熟的解决 方案，有些也已投入使用，但是这些方案大都只能为一般用户提供一种不可定制 的搜索服务，而且很多公司将这些网络爬虫的技术列为商业机密，并未公开，已 经无法满足广大用户日益增长的各种要求；互联网如此庞大、错综复杂就算是 Google、百度这样的搜索巨头也无法完整搜集完所有的网页，更不用说普通用户。 本文着重研究中小型规模的分布式爬虫，设计并实现了一个基于 MapReduce 分布式计算模型的分布式网络爬虫。综合起来本文的主要工作如下： 首先，本文介绍了网络爬虫中的相关技术和当前流行的 Map/Reduce 分布式计 算模型。随后在 MapReduce 分布式计算模型的基础上设计了由多台 PC 构成的分 布式网络爬虫系统-DWCS。其中通用的 crawler 模块负责对网页的抓取，并提取 URL；master 模块负责对 URL 进行去重等处理，并分配给各个 crawler 模块。 然后，在上述的基础上，利用 Python 与 Mincemeat.py 分布式计算模块实现了 该分布式爬虫。 最后，本文对 DWCS 系统进行了测试，对测试结果进行了分析，对目前的工 作做了总结，找出了不足，并对日后的工作做了展望和部署。 关键词：网络爬虫，MapReduce，Python，URL 去重 I ABSTRACT ABSTRACT The development of Internet explosion boosts websites from several thousands in 1993 to nearly billions nowadays, the number of which even now is sky-rocketing. With the fast development of Internet, the related service and information content is growing fast as well. In the meantime, when the information is the widely used by people, the network crawler which is responsible for collecting information, also face the big challenge. In present situation, some large firms, research institution (such as Google, Baidu etc. ) at home and abroad have already provided some mature solutions, some of which have put into use.However,most of the solutions are not able to offer the users one kind of custom-made search service. Furthermore, a large number of companies rank the technique of the network crawler as commerce privacy and never mak