云计算中MapReduce 计算模型模拟器简介.pdfVIP

16 《高性能计算发展与应用》 2013年第四期 总第四十五期 云计算中MapReduce计算模型模拟器简介  樊源泉 魏伟 段章峰 陈衡 伍卫国 西安交通大学 西安710049 eie.fyq@ 摘要： 近年来，MapReduce已经成为大数据处理领域一个重要的计算模型。Hadoop是Apache的 一个开源项目，其中实现了MapReduce计算模型。由于出色的并行处理能力，Hadoop已成为 许多编程者喜欢的大数据处理工具。然而，为了更好的优化基于MapReduce的集群系统，制 定合理的作业调度策略，对MapReduce的模拟变得很有必要。因此，出现了一些分布式环境 下MapReduce的模拟器。本文总结了目前主流的MapReduce模拟器，分析了它们的工作流程， 同时指出了各个模拟器的优、缺点，帮助MapReduce的研究者更好的理解MapReduce的工作过 程，以达到优化基于MapReduce集群系统的目的。 关键词：Hadoop，MapReduce，模拟器 1. 简介 程序的设计，像OpenMP，MPI等，程序设计者需要 目前，数据密集型计算的出现，使得大规模 关注很多设计细节，比如数据分片，数据传输以及 数据密集型的应用在快速的、可接受的时间内求 节点间的通信等，因此对设计者的要求比较高，限 解成为可能。因此，它一经出现，便成为了学术界 制了其应用的广泛性。而MapReduce的一个重要的设 和工业界的研究热点。2006年google提出云计算， 计目标就是简化分布式程序的设计，其将所有并行 由于可以提供灵活动态的IT基础设施，可靠的计算 程序设计需要关注的设计细节都抽象成公共模块， 环境和可配置的软件服务，云计算再次引领着学 并交由系统来实现，用户只需要关注自己的应用程 术界和工业界的研究热潮。为了满足Google内部对 序的实现逻辑即可。从而大大简化了分布式程序设 快速增长的数据存储的需求，Google开发和实现了 计，提高了开发的效率。2）良好的扩展性。随着搜 [1] 索公司的发展，其产生和积累的数据量呈指数型增 Google File（GFS） 。 SystemGFS与传统的文件系 统在可靠性、可用性、可扩展性等方面有着相同的 长，当数据量达到一定的程度之后，现有的集群已 设计目标，同时考虑了应用负载和技术环境的影 经无法满足其计算能力和存储能力，而MapReduce就 响。为了解决大规模数据的处理问题，Google提出 可以使得管理员通过添加机器以达到线性扩展集群 [2] 能力的目的。3）高容错性：在大规模分布式集群环 了MapReduce计算模型，该模型利用并行编程的思 想，主要用于大规模数据集的处理。基于Google的 境下，随着集群规模的增大，例如：磁盘损坏、机 GFS和MapReduce编程模型，Apache基金会开发出了 器宕机、节点间通信失败等硬件故障和用户设计程 云计算框架Hadoop。目前，Hadoop已经成为国内外 序的Bug产生的软件故障会显著的增加，从而会导致 学术界和工业界重点研究分析对象。