Mapreduce的排序46课件讲解.pptVIP

Mapreduce的排序

2学习任务MapReduce中的数据流动Partition的概念和使用MapReduce基于key的全排序的原理Partition过程详解

3知识目标01能力目标MapReduce中的数据流动partitionPartition的概念和使用MapReduce基于key的全排序的原理取样和Partition过程详解02学习目标MapReduce中的数据流动PartitionPartition的概念和使用MapReduce基于key的全排序的原理取样和Partition过程详解

4目录01MapReduce中的数据流动02PartitionPartition的概念和使用03MapReduce基于key的全排序的原理04取样和Partition过程详解

MapReduce中的数据流动5最简单的过程：map-reduce定制了partitioner以将map的结果送往指定reducer的过程：map-partition-reduce增加了在本地先进行一次Reduce（优化）的过程：map-combine-partition-reduce

Partition的概念和使用6得到map产生的记录后，他们该分配给哪些Reducer来处理呢？Hadoop默认是根据散列值来派发，但是实际中，这并不能很高效或者按照我们要求的去执行任务。