MapReduce简介36课件讲解.pptxVIP

MapReduce简介

MapReduce概述MapReduce在大数据处理中应用目录

MapReduce概述01

定义与发展历程起源2004年10月Google发表了MapReduce论文设计初衷：解决搜索引擎中大规模网页数据的并行处理HadoopMapReduce是GoogleMapReduce的开源实现MapReduce是ApacheHadoop的核心子项目概念面向批处理的分布式计算框架一种编程模型：MapReduce程序被分为Map（映射）阶段和Reduce（化简）阶段核心思想分而治之，并行计算移动计算，而非移动数据

MapReduce可以轻松处理PB级别以上的数据，通过增加节点实现水平扩展。高可扩展性MapReduce具备强大的容错能力，能够在节点故障时自动重新分配任务，保证数据处理的可靠性。高容错性MapReduce提供简单的编程接口，用户只需关注数据处理逻辑，而无需关心底层分布式系统的实现细节。易于编程MapReduce基于开源的Hadoop框架，无需购买昂贵的商业软件，且硬件成本相对较低。成本低廉主要特点与优势

适用范围及局限性典型应用场景（离线批处理）数据统计，如：网站的PV、UV统计搜索引擎构建索引海量数据查询复杂数据分析算法实现不适用场景（非离线批处理）OLAP要求毫秒或秒级返回结果流计算流计算的输入数据集是动态的，而MapReduce是静态的DAG计算