MapReduce编程技术深度解析与实践指南.pptVIP

MapReduce学习报告

;;计算问题简单，但求解困难

待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完毕

怎样进行并行分布式计算？

怎样分发待处理数据？

怎样处理分布式计算中的错误？

;MapReduce：大规模数据处理;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;一、术语对照;二、MapReduce的简化了解;MapReduce特性;三、MR编程模型;顾客只需要实现两个函数接口：

map(in_key,in_value)-

(out_key,intermediate_valuelist)

reduce(out_key,intermediate_valuelist)-out_valuelist

输入的key和value的类型和输出的类型能够是不同的;map;reduce;;三、MR执行流程（from:Google三大论文）;;四、MapReduce总体架构;五、MapReduce的角色;JobClient\JobTraker\TaskTracker关系图;六、MR详细流程图;InputPhase

MapPhase

SortPhase

CombinePhase

PartitionPhas