移动云计算异构环境下Hadoop性能分析-中国科学院深圳先进技术研究院.pdfVIP

Vol. 5 No.12/ Dec. 2011 移动云计算异构环境下Hadoop性能分析 陈俊 范小朋 刘敬 梁锋 摘 要 通过将虚拟化技术引入到传统的数据中心来实现计算资源的按需分配，云计算服务正获得日益广泛的应用，例如 亚马逊所提供的弹性云计算服务EC2。另一方面，Hadoop作为MapReduce这一大规模数据的分布式并行计算模型的开 源实现，在学术界和工业界都获得了越来越多的研究和应用。当前的一个研究热点，就是如何将云平台这一异构化的底层 基础设施，与Hadoop的上层应用有效结合起来，利用云平台所提供的弹性资源来充分发挥Hadoop高扩展性、高容错 性、低硬件配置的优点。在这篇论文中，我们在搭建的小型异构性云平台上进行了一系列的Hadoop性能测试和分析；并 指出在这一环境下，由于虚拟机的高IO开销，导致Hadoop的性能相比传统的纯粹物理节点集群急剧降低。我们的工作可 以作为研究云环境下如何提高Hadoop性能的一个重要基础。 关键词 Hadoop；云计算；异构性；系统性能 1 引言 不对外界提供服务。这种服务模式称之为私有云 传统的基于物理节点搭建而成的数据中心正在 服务。这一领域内的代表软件包括Eucalyptus、 经历着一场变革—诞生于上世界60年代并被最初应 OpenStack、AbiCloud等[6][7][8]。出于兼容性和拓 用到大型机上的虚拟化技术，被越来越广泛地部署 展性方面的考虑，Eucalyptus等软件在实现了私有 到基于X86架构的、由通用廉价硬件组成的PC服务 云平台之外，还提供了与EC2等公共云平台相兼容的 [1][2] 器上 。不同于传统的物理机器，在虚拟机中所有 接口，使得用户可以根据具体应用充分利用这两种 的上层应用和中间层操作系统并不能直接与底层硬 平台。 件交互，而需要经由hypervisor或VMM层才能接触 云计算服务的兴起和广泛应用，必然会造成后 到底层硬件。虚拟化技术提供了众多特有的优势， 台数据中心中数据规模量的急剧膨胀。如何高效可 例如：1) 资源复用—在单一的硬件资源集合上同时 靠地存储和处理海量规模的数据，成为了云服务进 实现多个虚拟机容器，且容器之间相互性能隔离；2) [9] 一步发展所面临的问题。另一方面，MapReduce 迁移技术—虚拟机容器可以从所在的节点上无缝迁 作为一种处理海量规模数据集的分布式并行计算模 移到另一个节点上，并保证在整个迁移过程中容器 型，因其高扩展性、高容错性、低硬件配置的优 [3][4] 中的应用程序仍然可以正常工作 。在部署了虚拟 [10] 点，其开源实现版本Hadoop 在学术界和工业 化技术后，整个数据中心可以看成是一个大的资源 界都获得了越来越多的研究和应用。因此，如何将 池，用户可以按需定制和动态调整所需要的资源并 MapReduce加入到云计算平台中，充分发挥其 且以虚拟机的形式呈现，而不是传统的以物理机节 处理数据密集型应用的优势，是当前的一个研究热 点这一固定的粗粒度来占用资源。 点。由于虚拟化技术带来的高IO开销，云环境下的 当一个数据中心引入虚拟化技术并接入互联网