基于GPU-Hadoop的并行计算框架研究与实现.pdfVIP

第31卷第8期 计 算 机 应 用 研 究 V01．31No．8 2014年 8月 ApplicationResearchofComputers Aug．2014 基于 GPU-Hadoop的并行计算框架研究与实现术 张 凯 ，秦 勃 ，刘其成 (1．中国海洋大学信息科学与工程学院，山东青岛266100；2．烟台大学计算机学院，山东烟台264005) 摘 要 ：针对原生的Hadoop云平 台处理海洋环境信息可视化效率不高的问题，提出了一种GPU嵌入Hadoop云 平 台的并行计算框架。该框架以原生Hadoop为基础，GPU并行计算与MapReduce相结合 ，实现了高效的海洋流 场可视化和特征可视化。实验结果表明，提出的并行计算框架在处理数据密集型和计算密集型的海洋数据的效 率上优于原生的Hadoop云平台，可达到6～8倍的加速 比。因此，提出的云平台框架可以有效提高海洋信息可 视化的计算效率，对我国海洋事业的信息可视化发展具有重要的推动作用。 关键词：云计算；图形处理器；并行计算；Hadoop；海洋流场可视化；MapReduce 中图分类号 ：TP391．72 文献标志码 ：A 文章编号：1001—3695(2014)08—2548—03 doi：10．3969／j．issn．1001—3695．2014．08．076 StudyofparallelcomputingframeworkbasedonGPU-Hadoop ZHANGKai，QINBo，LIUQi—cheng (1．CollegeofInformationScienceEngineering，OceanUniversityofChina，QingdaoShandong266100，China；2．SchoolofComputerScie‘ lice，YantaiUniversity，YantaiShandong264005，China) Abstract：ThispaperproposedanparallelcomputingframeworkbasedonHadoopembeddedGPUforimprovingtheefficiency ofoceandatavisualization．Fistly，thisframeworkwasbasedontheoriginalHadoop．Then，itcombinedbyGPU parallelcompu— tingandMapReduceparallelprocessingmechanism．Finally，thisframeworkachieveshigh—efficiencyflowvisualizationandfea· turevisualization．Experimentalresuhsshow theproposedframeworkachievedhigherefficiencythantheoriginalHadoop，the speedupratereachessixtoeight．Therefore，theproposedframeworkplaysaveryimportantrolein improvingcomputingeffi— ciencyanddevelopingofoceaninformationvisualization． Keywords：cloudcomputing；GPU；parallelcomputing；Hadoop；oceanflow visualization；MapReduce 近年来 ，随着海洋强国的提出，我国海洋事业进入了高速 数据的处理中，基于多节点和多核的CPU—basedMapReduce框 发展期 ，海洋环境信息可视化…工作的重要性 日益突出。海 架得到了广泛应用。鉴于 目前 CPU—basedMapReduc