2.《云计算(第三版)》配套PPT之二：第2章-Google云计算原理与应用(一).pptVIP

实现机制 * 2.2 分布式数据处理MapReduce 实现机制 （1）MapReduce函数首先把输入文件分成M块 （2）分派的执行程序中有一个主控程序Master （3）一个被分配了Map任务的Worker读取并处理相关的输入块 （4）这些缓冲到内存的中间结果将被定时写到本地硬盘，这些数据通过分区函数分成R个区 （5）当Master通知执行Reduce的Worker关于中间key,value对的位置时，它调用远程过程，从Map Worker的本地硬盘上读取缓冲的中间数据 （6）Reduce Worker根据每一个唯一中间key来遍历所有的排序后的中间数据，并且把key和相关的中间结果值集合传递给用户定义的Reduce函数 （7）当所有的Map任务和Reduce任务都完成的时候，Master激活用户程序 * 2.2 分布式数据处理MapReduce 容错机制 由于MapReduce在成百上千台机器上处理海量数据，所以容错机制是不可或缺的。 总的来说，MapReduce通过重新执行失效的地方来实现容错。 Master失效 Worker失效 Master会周期性地设置检查点（checkpoint），并导出Master的数据。一旦某个任务失效，系统就从最近的一个检查点恢复并重新执行。 由于只有一个Master在运行，如果Master失效了，则只能终止整个MapReduce程序的运行并重