面向云计算的mpreduce并行编程模式的研究与应用.pdfVIP

面向云计算的MapReduce并行编程模式的研究与应用 摘 要 高性能计算机的发展促使了高效能程序设计环境的产生与发展，尤其是并行 编程模式的发展。一方面，由于并行机体系结构的多样性给并行程序的开发带来 了很多困难，因此怎样简化并行编程提高开发效率成为了一个关键问题。另一方 面，面向云环境，如何提高并行计算的能力以实现在海量数据中获取有价值的信 息也成为了互联网中极需解决的问题。针对上述两个问题，Google公司研发了一 种新的并行编程模型MapReduce，它在高抽象层次上以易使用和易理解的方式来 简单高效地解决并行计算问题。 论文在研究并行编程模型及其具体的并行程序开发模式的基础上，紧紧围绕 实现框架、执行过程及其实现平台进行分析与应用，取得了以下研究成果： 行性能的问题，本文提出了提高MapReduce性能的几种技巧，先描述问题出现的 状况，再提出具体的解决方法，最后在集群上进行测试实验，且给出了使用技巧 前后的对比性测试数据，可给MapReduce作业的开发者提供帮助。 着云计算的产生和发展而得以广泛应用，其搜索效率也难以提高的问题，本文设 计和实现了一种基于MapReduce框架的单源最短路径算法的并行方法，并基于 Hadoop平台集群环境进行了研究与实验，且分别对该问题的并行加速比、效率及 可扩放性进行了详细地测试，结果表明，文中算法可以有效地找出整个图结构中 的单源最短路径，且验证了算法性能的优越性。 关键词：云计算；并行编程模式；MapReduce：单源最短路径；Hadoop Ⅱ Abstract the and productlon of computerpromotes The performance High development for parallel of environment，especially programming Highperformance development thatthe of because Parallel one diversity Onthe hand， model． programming to of lotofdifficulties has a design architecture computer，s brought compuffng