第3章 并行计算技术.pptxVIP

第3章并行计算技术;提 纲;;世界太复杂、单机Handle不了; 并行计算!!! ;不可并行的任务;分布式数据处理MapReduce ;如何对付大数据处理：分而治之;如何对付大数据处理：分而治之;大数据任务划分和并行计算模型 ;MapReduce在三个层面上的基本构思;海量数据存储;MapReduce中的Map和Reduce操作的抽象描述; reduce: (k2; [v2]) ? [(k3; v3)] 输入： 由map输出的一组键值对[(k2; v2)] 将被进行合并处理将同样主键下的不同数值合并到一个列表[v2]中，故reduce的输入为(k2; [v2]) 处理：对传入的中间结果列表数据进行某种整理或进一步的处理,并产生最终的某种形式的结果输出[(k3; v3)] 。 输出：最终输出结果[(k3; v3)] Map和Reduce为程序员提供了一个清晰的操作接口抽象描述 ;基于Map和Reduce的并行计算模型;基于MapReduce的处理过程示例--文档词频统计：WordCount;基于MapReduce的处理过程示例--文档词频统计：WordCount;基于MapReduce的处理过程示例--文档词频统计：WordCount MapReduce处理方式 使用3个reduce节点： reduce节点1: 输入：(good, 1), (good, 1), (goo