基于MapReduce并行计算的词频统计的研究.pdf

南 阳 理 工 学 院 本科生毕业设计(论文) 学院(系) ： 软件学院 专 业： 软件工程 学 生： 周 楠 指导教师： 陈可 完成日期 2016 年 04 月 南阳理工学院本科生毕业设计（论文） 基于MapReduce并行计算的词频统计的研究 Research of the Word Count by Parallel Computing on MapReduce 总 计：毕业设计(论文) 15页 表 格： 3个 插 图： 5幅 基于MapReduce并⾏计算的词频统计的研究 南 阳 理 工 学 院 本 科 毕 业 设 计(论文) 基于MapReduce并行计算的词频统计的研究 Research of the Word Count by Parallel Computing on MapReduce 学 院(系) ： 软件学院 专 业： 软件工程 学 生 姓 名： 周 楠 学 号： 1415925713 指导教师(职称) ： 陈可 讲师 评 阅 教 师： 陈可 完 成 日 期： 2016年04月16日 南阳理工学院 Nanyang Institute of Technology 基于MapReduce并⾏计算的词频统计的研究 MapReduce 软件工程 周楠 [摘要] 我们正处在大数据时代，数据，已经渗透到当今每一个行业和业务职能领 域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率 增长和消费者盈余浪潮的到来大数据时代，数据爆炸式增长，数据量巨大，数据种 类繁琐，很难统计，处理和分析，所以数据挖掘显得格外重要，，而词频统计正是 数据挖掘的一个重要分支。在谷歌，超过一万个不同的项目已经采用MapReduce来 实现,包括大规模的算法图形处理、文字处理、数据挖掘、机器学习、统计机器翻 译以及众多其他领域。 [关键词] 词频统计；MapReduce ；并⾏计算；Hadoop ； 基于MapReduce并⾏计算的词频统计的研究 Research of the Word Count by Parallel Computing on MapReduce Software Engineering Major Zhou Nan Abstract We are in the era of big data, data, has penetrated into every industry today and the business functional areas, become an important production factor.For huge amounts of data mining and utilization, herald a new wave of productivity growth and the