一种混合计算环境下的MapReduce并行模型.pdfVIP

CN 43—1258／TP 计算机工程与科学 第 35卷第 11期 2013年 11月 ISSN 1OO7—13OX ComputerEngineering＆ Science Vo1．35，No．1l，Nov．2O13 文章编号 ：1007—130X(2013)11-0087—07 一 种混合计算环境下的MapReduce并行模型 唐 兵 ，贺海武。 (1．湖南科技大学计算机科学与工程学院，湖南 湘潭 411201；2．法 国里 昂高等师范学院并行计算实验室，法国 里昂 69364) 摘 要：提 出了一种混合计算环境下的MapReduce并行计算模型，利用该模型可以将高性能集群节 点与 Internet或 Intranet下异构的桌面 PC组成混合计算环境，在该混合环境下运行 MapReduce任务进 行海量数据分析处理 ，充分利用 了大规模桌面PC的计算与存储能力。与 Hadoop类似，该模型分为存储 层和任务层两层 。对该模 型及其核心的 HybridDFS分布式文件 系统和 MapReduce算法进行 了简单描 述 ，进而设计并实现 了一个原型系统 ，并对其进行 了性能测试。测试结果表 明，提 出的混合计算模 型不仅 能够实现可靠的MapReduce计算 ，而且降低 了计算的成本开销 ，具有非常大的潜力。 关键词 ：混合计算环境；MapReduce；志愿计算；容错；分布式文件系统 中图分类号 ：TP302 文献标志码 ：A doi：10．3969／j．issn．1007—13OX．2013．11．014 A novelM apReduceparallelmodel ● ’ 1 ‘ 1 · · ‘ in hybrid com puting environm ent TANG Bing ，HE Hai—WU (1．SchoolofComputerScienceandEngineering，HunanUniversityofScienceandTechnology，Xiangtan411201，China； 2．Laboratoirede1’InformatiqueduParall61isme，EcoleNormaleSup6rieuredeLyon，69364LyonCedex07，France) Abstract：A novelMapReducecomputationmodelinhybridcomputingenvironmentisproposed．U— singthismodel，highperformanceclusternodesandheterogeneousdesktop PCsinInternetorIntranet canbeintegratedtoform ahybridcomputingenvironment，whereMapReducetaskscanbeexecutedto processlarge—scaledatasets．In thisway，thecomputationand storagecapabilityoflarge—scaledesktop PCsarefullyutilized．SimilartothedesignofHadoop，thismodelcomposesofstoragelayerand task layer．ThepaperintroducesthearchitectureofthemodelbrieflyanddescribesthecoreHybridDFSand theMapReducealgorithms．Then，aprototypesystem isdesignedandimplemented，andperformancee— valuationsareaccomplished．Evaluationresultsshow thattheproposedh