一种面向云计算改进Mapreduce模型.pdfVIP

2011年全国半导体光源系统学术年会 一种面向云计算的改进的Mapreduce模型 方锦明 (义乌工商职业技术学院浙江义乌322000) An modelsbasedoncloud Mapreduce improved computing FANGJING．MING YiwuIudustrialCommercial322000，China College，YiwuZhejiang 摘 要；云计算的核心技术之一是MapReduce技术，目前国内外云计算研究机构都对 MapReduce技术高度关注．并在不同的体系结构上都进行了实现，尤其是在开源hadoop平台 上对其所做的研究提供了更多的研究机遇。本文首先介绍了传统的MapReduce模型的处理 流程，然后分析了传统处理过程中目前存在的一些问题，针对这些问题最后详细阐述了模型 的改进方案。 关键词：云计算；MapReduce技术；并行计算：分布式计算 中图法分类号：TP393． is ofthe ofCloud one core Abstract：MapReducetechnology technology computing，cloud researchinstitutionshave concernforthe athomeand computing great MapReducetechnology differentarchitectureshavecarriedoutto inthe abroad,and achieve，especiallyopen-source forits researchdonemoreresearch describesthe platformhadoop opportunities．Thispaper traditionalmodelof and ofthetreatment nOWbe MapReduceprocessinganalysis processmay some amodel problems，andfinallyprovides improvementprogram． words：Cloud Key computing；MapReducetechnology；parallelcomputing；Distributed Computing l、引言 较大的发展，但还没有形成成熟的、系统化 云计算是由并行计算(Paralld 的理论体系【4】。目前国内外进行MapReduce Computing)、分布式计算(Distributed技术研究的机构都显示了对MapReduce的 高度关注，并在不同的体系结构上都进行了 Computing)和网格计算(GridComputing)发 展而来If]。云计算的核心技术之一是 实现，尤其是在开源hadoop平台上对其所 做的研究提供了更多的研究机遇【5刮。因此 MapReduce，它为并行系统的数据处理提供 了一个优雅、简单的解决方案，其主要目的 对MapReduce的研究不仅具有重要的应用 是为了大型集群的系统能在大数据集上进