面向云计算的MapReduce并行编程模式的研究与应用-计算机科学与技术专业毕业论文.docxVIP

面向云计算的MapReduce并行编程模式的研究与应用摘 面向云计算的MapReduce并行编程模式的研究与应用 摘 要 高性能计算机的发展促使了高效能程序设计环境的产生与发展，尤其是并行 编程模式的发展。一方面，由于并行机体系结构的多样性给并行程序的开发带来 了很多困难，因此怎样简化并行编程提高开发效率成为了一个关键问题。另一方 面，面向云环境，如何提高并行计算的能力以实现在海量数据中获取有价值的信 息也成为了互联网中极需解决的问题。针对上述两个问题，Google公司研发了一 种新的并行编程模型MapReduce，它在高抽象层次上以易使用和易理解的方式来 简单高效地解决并行计算问题。 论文在研究并行编程模型及其具体的并行程序开发模式的基础上，紧紧围绕 云计算及其关键技术MapReduce并行编程模式展开研究，通过对MapReduce的 实现框架、执行过程及其实现平台进行分析与应用，取得了以下研究成果： 1、针对MapReduce缺乏一个快速高效的标准或规则来调整和优化其作业执 行性能的问题，本文提出了提高MapReduce性能的几种技巧，先描述问题出现的 状况，再提出具体的解决方法，最后在集群上进行测试实验，且给出了使用技巧 前后的对比性测试数据，可给MapReduce作业的开发者提供帮助。 2、通过对MapReduce模型执行过程的分析，针对单源最短路径算法难以随 着云计算的产生和发展而得以广泛应用，其搜索效率也难以提高的问题，本文设 计和实现了一种基于MapReduce框架的单源最短路径算法的并行方法，并基于 Hadoop平台集群环境进行了研究与实验，且分别对该问题的并行加速比、效率及 可扩放性进行了详细地测试，结果表明，文中算法可以有效地找出整个图结构中 的单源最短路径，且验证了算法性能的优越性。 关键词：云计算；并行编程模式；MapReduce：单源最短路径；Hadoop Ⅱ Abstractand Abstract and The development of High performance computer promotes the productlon development of High performance programming environment，especially for parallel of Parallel pro gramming model． On the one hand， because that the diversity to design of compuffng computer，s architecture has brought a lot of difficulties parallel program，how to simplify parallel program to improve designing efficiency has become a key issue．On the other hand，when facing cloud computing how to get valuable information in mass data by improving performance of parallel computing has also been a problem that desires to be solved urgently·Aiming at the two above．mentioned problems，Google had developed a new parallel programming modeI MapReduce，which could solve the problem of parallel computing simplY and elegantly in high level of abstraction· 0ufresearch is Based on the study of parallel programming model and COncretc paraIIel programming model，closely around cloud computing and its key technology MapReduce．Afer analysis and application of its implementation framework， have implementation platform and execution process，The following achievements been obtained： 1．Aiming at a lack of q