基于Hadoop海量数据处理关键技术研究-电子与通信工程专业论文.docxVIP

万方数据 万方数据 KEY TECHNOLOGY RESEARCH-BASED THE HADOOP OF MASSIVE DATA PROCESSING A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Electronics and Communication Engineering Author: Che Bin Advisor: Yang Xiaolong School : School of Communication and Information Engineering 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 摘 要 互联网从诞生至今经历了接近半个世纪的时间，已深入到我们生活的方方面 面。如今，在经历了 WEB2.0 时代之后，互联网正在向第三代——网络服务个性 化。互联网的个性化演进过程中引发了数据的海量化，面对如此海量化的数据传 统的单台超级服务器也逐渐显得力不从心，海量数据的处理逐渐成为一个棘手的 难题。海量数据的产生与处理既是挑战也是机遇，海量数据为数据挖掘提供了丰 富的数据源，从中挖掘出的信息更加具有商业价值。基于以上情况，今天，海量 数据的处理已成为各大互联网公司投资研究的热门技术，中小企业也争相投入到 这场数据盛宴中来。 2006 年 Google 所提出的云计算概念为海量数据处理的研究指明了方向， Apache 基金会所研发的开源 Hadoop 云平台的开源特性更是为广大研究者带来了 低成本海量数据处理的曙光。传统的数据处理方法与技术在单台服务器情况下表 现优越，但面对云平台的分布式处理模式已不再适应。将传统的数据处理方法进 行分布式计算模式改造，并在此基础上进行算法改进与性能的提升对于在海量数 据处理的研究将有重大的意义。 本文首先从云计算理论出发，介绍了云计算的发展历程与技术体系，并对现 有多款云计算平台做了分析与对比。之后选定 Hadoop 开源云平台作为项目的基础 研究平台，对其进行深入的分析与讨论。接下来对现有数据处理技术进行讨论。 文章第三、四部分是项目研究的核心内容，其主要内容为： 1）第三部分主要对海量 web 日志数据预处理模型进行研究。文章在总结传统 经典预处理模型的基础上提出基于二次清洗模型与动态阈值算法的海量 Web 日志 预处理模型，并对其做了详细描述。 2）第四部分内容为基于并行关联规则算法的海量数据挖掘研究，主要以 Apriori 算法的并行算法为切入点，分析传统 CD、DD 算法的优势及不足之处，并 提出改进方案，完成改进型 Apriori 数据挖掘算法的描述。 在文章的第五部分对三、四部分所提出的改进及优化做仿真实验，并根据实 验结果进行分析，最后得出实验结论。 关键词：云计算，Hadoop，数据处理，Apriori 算法 I ABSTRACT ABSTRACT Internet has experienced since its birth nearly half a century, has penetrated into every aspect of our lives. WEB2.0 era after the Internet is to the third generation - network service personalization. Lead to a sea of data quantify the personalized the evolution of the Internet, the face of such a sea quantifiable data of tradi