基于chrome浏览器插件的爬虫系统-软件工程专业论文.docxVIP

万方数据 万方数据 东华大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存和汇编本学位论文。 本学位论文属于 保密 □，在 年解密后适用本版权书。 不保密 □。 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 iii 基于 Chrome 浏览器插件的爬虫系统 摘 要 随着大数据时代的来临，网络信息以“爆炸”的方式增长，以新 浪微博为例，其日均微博更新多达 1.2 亿条，但在信息空前丰富的前 提下，用户获取自己需要数据的难度也日趋增加。传统搜索引擎如百 度、Google 等提供的零散结果已经不能满足用户的需求，人们不论在 专业数据分析还是在日常生活方面更需要的是经过有效整合的数据， 整合互联网数据要使用网络爬虫技术。然而目前常用的网络爬虫系统 开发难度大，稳定性差并且使用不友好，已经不能满足当今用户的需 求，因此研究设计一种开发扩展简单，稳定性高，适用范围广以及使 用友好的网络爬虫系统具有非常重要的价值。 本文先研究了国内外现有网络爬虫技术、网络爬虫系统和反爬虫 策略的现状，分析了现有网络爬虫系统实现过程复杂、稳定性差和使 用不友好的原因，并且基于此提出了基于 Chrome 扩展的网络爬虫系 统。其次，为了满足不同的需求和发挥互联网的优势，提出了在基于 Chrome 扩展的网络爬虫系统中实现两种信息抓取模块，分别是个人 版信息抓取模块和服务器版信息抓取模块。最后，为了支持个人版信 息抓取模块对中央服务器模块的高并发性需求，提出了基于 Netty 框 架实现的中央服务器模块和采用主从库配置的数据库模块，并且为了 在有更多新需求的情况下中央服务器模块能够更好的进行扩展，本文 采用了面向接口编程并且引入了 Spring 框架来管理中央服务器模块 iv 的类之间的依赖。 本文设计和实现的网络爬虫系统，不仅开发过程容易，扩展方便， 支持网页类型多——包括普通静态网页、异步加载网页和动态生成信 息，而且个人版信息抓取模块还可以最大化的发挥互联网的优势，利 用每个网络爬虫用户来抓取信息。系统测试结果表明预期结果得以实 现，并且在使用友好度、高可用性方面有很大的提高。 关键字：网络爬虫 Chrome 扩展 JavaScript Netty 主从库 v WEB CRAWLER SYSTEM BASED ON CHROME EXTENSION ABSTRACT With the advent of the era of big data, network information has been growing in a explosive speed, for instance, the daily blogs posted on Sina Weibo reach to 120 million. However, the difficulty for users to get the data they need has been increasing in the context of unprecedentedly rich information. Scattered result presented by traditional search engine, like Baidu and Google, has no longer fulfilled users’ requirements, what they need more is the data of valid integration in professional data analysis and daily life. Crawler is one of technologies used in the process of internet data integration. However, common crawler technology used currently has HYPERLINK /dict/search?q=difficultamp;FORM=BDVSP6amp;mkt=zh-cn difficult HYPERLINK /dict/search?q=exploitationamp;FORM=BDVSP6amp;mkt=zh-cn exploitation and poor stability, and is not user friendly, which