MapReduce 过程详解分析和总结.pdfVIP

MapReduce 过程详解 Hadoop 越来越火， 围绕Hadoop 的子项目更是增长迅速，光Apache 官网上列出来的 就十几个， 但是万变不离其宗， 大部分项目都是基于Hadoop common MapReduce 更是核心中的核心。那么到底什么是 MapReduce, 它具体是怎么工作的 呢？ 关于它的原理， 说简单也简单， 随便画个图喷一下Map 和 Reduce 两个阶段似乎就 完了。 但其实这里面还包含了Sort, Partition, Shuffle, Combine, Merge 等子阶段，尤其是 Shuffle, 很多资料里都把它称为 MapReduce 的“心脏”， 和所谓“奇迹发生的地方”。真正能 说清楚其中关系的人就没那么多了。可是了解这些流程对我们理解和掌握MapReduce 并对 其进行调优是非常有用的。 首先我们看一副图，包含了从头到尾的整个过程，后面对所有步骤的解释都以此图作 为参考 （此图100％原创） 这张图简单来说， 就是说在我们常见的Map 和 Reduce 之间还有一系列的过程， 其 中包括Partition, Sort, Combine, Copy, Merge 等. 而这些过程往往被统称为Shuffle 也就是 “混洗”. 而Shuffle 的目的就是对数据进行梳理，排序，以更科学的方式分发给每个Reducer, 以便能够更高效地进行计算和处理。 （难怪人家说这是奇迹发生的地方，原来这里面有这 么多花花， 能没奇迹么？） 如果您是Hadoop 的大牛，看了这幅图可能马上要跳出来了，不对！还有一个spill 过 程云云... 且慢，关于spill, 我认为只是一个实现细节，其实就是MapReduce 利用内存缓冲的方 式提高效率， 整个的过程和原理并没有受影响，所以在此处忽略掉spill 过程， 以便更好 理解。 光看原理图还是有点费解是吧？ 没错！ 雷子一直认为， 没有例子的文章就是耍流 氓 :) 所以我们就用大家都耳熟能详的WordCount 作为例子， 开始我们的讨论。 先创建两个文本文件， 作为我们例子的输入： File 1 内容： My name is Tony My company is pivotal File 2 内容： My name is Lisa My company is EMC 1. 第一步， Map 顾名思义， Map 就是拆解. 首先我们的输入就是两个文件，默认情况下是两个split, 对应前面图中的split 0, split 1 两个split 默认会分给两个Mapper 来处理， WordCount 例子相当地暴力，这一步里面 就是直接把文件内容分解为单词和 1 （注意，不是具体数量， 就是数字 1）其中的单词 就是我们的主健，也称为Key, 后面的数字就是对应的值，也称为value. 那么对应两个Mapper 的输出就是： split 0 My 1 name 1 is 1 Tony 1 My 1 company 1 is 1 Pivotal 1 split 1 My 1 name 1 is 1 Lisa 1 My 1 company 1 is 1 EMC 1 2. Partition Partition 是什么？ Partition 就是分区。 为什么要分区？ 因为有时候会有多个Reducer, Partition就是提前对输入进行处理，根 据将来的Reducer 进行分区. 到时候Reducer 处理的时候，只需要处理分给自己的数据就可 以了。 如何分区？ 主要的分区方法就是按照Key