大数据技术及应用——基于Python语言 习题解答：第7章 MapReduce.docx

分布式计算框架MapReduce

一、简答题

请简要叙述MapReduce计算模型的工作原理。

答：MapReduce程序分三个阶段执行，即map阶段、shuffle阶段和reduce阶段，其中shuffle可以由MapReduce框架自动完成。还可以包含可选的Combine阶段，用于数据合并：map-combine-shuffle-reduce。

通常情况下，MapReduce算法包括两个任务：Map和Reduce。

（1）Map（映射过程）：把一组数据按照某种Map函数映射成新的数据，也就是说，map主要是：映射、变换、过滤的过程。Mapper程序会根据InputFormat将输入文件分割