异构大数据编程环境Hadoop_何文婷.docx

异构大数据编程环境 Hadoop+何文婷1,2崔慧敏1冯晓兵11(中国科学院计算技术研究所 北京 100080)2(中国科学院大学 北京 100049)摘 要 互联网和物联网技术的飞速发展开启了“大数据”时代。目前，硬件的高速发展催生了许多 异构芯片，它们越来越多地出现在大规模数据中心里，支持不同的应用程序，在提升性能的同时降低 整体功耗。文章重点介绍了基于 MapReduce 编程模型的 Hadoop+ 框架的设计与实现，它允许用户在单 个任务中调用 CUDA/OpenCL 的并行实现，并能通过异构任务模型帮助用户。在我们的实验平台上， 五种常见机器学习算法使用 Hadoop+ 框架相对于 Hadoop 能达到 1.4×～16.1×的加速比，在 Hadoop+ 框架中使用异构任务模型指导其资源分配策略，对单个应用负载上最高达到 36.0% 的性能提升；对多 应用的混合负载，最多能减少 36.9%，平均 17.6% 的应用执行时间。关键词 异构；数据中心；Hadoop+；MapReduce中图分类号 TP 316.4 文献标志码 AHadoop+: A Big-data Programming Framework for HeterogeneousComputing EnvironmentsHE Wenting1,2CUI Huimin1FENG Xiaobing11( Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080, China )2( University of Chinese Academy of Sciences, Beijing 100049, China )Abstract The rapid development of Internet and Internet of Things opens the era of big data. Currently, heterogeneous architectures are being widely adopted in large-scale datacenters, for the sake of performance improvement and reduction of energy consumption. This paper presents the design and implementation of Hadoop+, a programming framework that implements MapReduce and enables invocation of parallelized CUDA/OpenCL within a map/reduce task, and helps the user by taking advantage of a heterogeneous task model. Experimental result shows that Hadoop+ attains 1.4× to 16.1× speedups over Hadoop for five commonly used machine learning algorithms. Coupled with a heterogeneous task model that helps allocate computing resouces, Hadoop+ brings a 36.0% improvement in data processing speed for single-application workloads, and for mixed workloads of multiple applications, the execution time is reduced by up to 36.9% with an average 17.6%.收稿日期：2015-12-27修回日期：2016-03-02基金项目：国家重点基础研究发展计划(973)(2011CB302504)；国家高技术研究发展计划(863)(2012AA010902、2015AA011505)；国家自然科 学基金6122106261432016 作者简介：何文婷，博士研究生，研究方向为并行计算和机器学习算法；崔慧敏(通讯作者)，副研究员，研究方向为并行编程和编译， E-mail：mailto:cuihm@cuihm@；冯晓兵，博士生导师，研究方向为编程模型和编译优化。Keywords