第3章 并行计算技术.pptx

第3章并行计算技术;提 纲;;世界太复杂、单机Handle不了; 并行计算!!! ;不可并行的任务;分布式数据处理MapReduce ;如何对付大数据处理：分而治之;如何对付大数据处理：分而治之;大数据任务划分和并行计算模型 ;MapReduce在三个层面上的基本构思;海量数据存储;MapReduce中的Map和Reduce操作的抽象描述; reduce: (k2; [v2]) ? [(k3; v3)] 输入： 由map输出的一组键值对[(k2; v2)] 将被进行合并处理将同样主键下的不同数值合并到一个列表[v2]中，故reduce的输入为(k2; [v2]) 处理：对传入的中间结果列表数据进行某种整理或进一步的处理,并产生最终的某种形式的结果输出[(k3; v3)] 。 输出：最终输出结果[(k3; v3)] Map和Reduce为程序员提供了一个清晰的操作接口抽象描述 ;基于Map和Reduce的并行计算模型;基于MapReduce的处理过程示例--文档词频统计：WordCount;基于MapReduce的处理过程示例--文档词频统计：WordCount;基于MapReduce的处理过程示例--文档词频统计：WordCount MapReduce处理方式 使用3个reduce节点： reduce节点1: 输入：(good, 1), (good, 1), (good, 1), (good, 1), (good, 1) 输出：(good, 5) reduce节点2: 输入：(has, 1), (is,1), (is,1), (is, 1), 输出：(has, 1), (is, 3) reduce节点3: 输入：(the, 1), (today, 1), (today, 1) (weather, 1), (weather,1), (weather, 1) 输出：(the, 1), (today, 2), (weather, 3);MapReduce伪代码(实现Map和Reduce两个函数)： ;MapReduce提供统一的计算框架;MapReduce最大的亮点;MapReduce提供的主要功能*;Barrier; 平滑无缝的可扩展性 ;Hadoop简介 ;Hadoop MapReduce框架;Hadoop Map/Reduce;;Inject Points;Job Tracker Task Tracker;Job Sheduler;Job Scheduler Web UI;Failure;Job Shell;Web UI;代码实例;Map Class;Reduce Class;作业;谢 谢！