基于融合架构的mapreduce模型与hadoop加速策略研究-通信工程专业论文.docxVIP

优秀毕业论文 精品参考文献资料 摘 摘 要 异构结构的并行编程开发，特别以CPU．GPU为代表的异构结构，在GPU的 开发利用上需要使用厂商提供的OpenCL／CUDA等GPU编程标准，而对普通开发 者GPU内部底层架构的复杂性为其开发带来了诸多困难。MapReduce编程模型 成功的应用在基于多核CPU或GPU设备中，为开发者提供了抽象可编程接口。 本文在已有基于CPUs或GPU的MapReduce编程模型的基础上，针对新的异 构计算架构一一CPu—GPU融合架构，提出了一种新的MapReduce编程模型 (FGMR)，并提供统一的编程接口。主要工作包括以下两个方面。 第一，本文分析了多种基于MapReduce的异构编程模型，以前的MapReduce 模型都是基于分离式的CPU—GPU架构，在GPU内采用全局原子操作带来严重的 写延迟。基于新的异构架构提出了FGMR的编程模型，为了解决使用全局原子锁 的影响，设计了一种多hash表的结构，解决了多线程之间的并行写入问题，并巧 妙的利用了GPU中的shared memory加速数据的写入。本文分析了静态任务调度 和动态任务调度策略，根据实际情况采用了动态的任务调度策略，提高了系统的 计算性能，定量分析了任务块大小对异构结构的性能影响。用四种不同的负载分 别在Mars、MapCG和FGMR进行测试，实验结果表明数据处理性能有明显的提 高。 第二，针对原有的Hadoop分布式系统，分析了多种异构架构加速基于CPU 的Hadoop分布式系统的方法，将Fusion的单节点模式扩展为多节点的分布式系 统，利用多层的并行加速数据的处理。文章给出了多节点情况下的Fusion结构 Hadoop框架，并通过Kmeans的实例在不同数据情况下验证了该加速模型的性能， 与CPU版本的Hadoop比较，实验结果显示性能有了一定的提升，同时验证了 FGMR模型具有良好的可扩展性。 关键词：融合CPU—GPU；MapReduce；Hadoop；Kmeans；加速 II 万方数据 硕士学位论文Abstract 硕士学位论文 Abstract Parallel programming of heterogeneous architecture，especially represented by CPU—GPU heterogeneous computing architecture， which needs vendors’ OpenCL／CUDA programming standards utilize the power of GPU．It brings much diffculties for the common developers by complexity of GPU’S internal underlying structure．MapReduce programming model has been successfully applicated in CPUs／GPU devices，provides developers with abstract programmable interface． In this paper，based on existing MapReduce programming model of CPUs or GPU， propose a new MapReduce programming model for a new heterogeneous architecture 一一Fusion CPU-GPU，and provide a uniform programming API for prgorammer(FGMR)．The contributions are summarized as follows： Firstly，this paper analyzes variety of heterogeneos programming model based on MapReduce，the previous model are based on separated CPU—GPU architecture，using global atomic operation brings serious delay within GPU．We propose a programming model named FGMR based on this new heterogeneous architecture，in order to remove the affect by using global atomic operations，design mult