《云计算(第二版)》教材配套课件2—第二章+Google云计算原理与应用(1).pptVIP

  • 4
  • 0
  • 约4.32千字
  • 约 41页
  • 2019-08-10 发布于广东
  • 举报

《云计算(第二版)》教材配套课件2—第二章+Google云计算原理与应用(1).ppt

?计算问题简单,但求解困难 ?待处理数据量巨大(PB级),只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 ?如何进行并行分布式计算? ?如何分发待处理数据? ?如何处理分布式计算中的错误? 简单的问题,计算并不简单! Jeffery Dean设计一个新的抽象模型, 封装并行处理、容错处理、本地化计算、负载均衡的细节,还提供了一个简单而强大的接口 这就是MapReduce Google MapReduce 架构设计师 Jeffrey Dean 分布式数据处理MapReduce ?产生背景 ?编程模型 实现机制 案例分析 Map函数——对一部分原始数据进行指定的操作。每个Map操作都针对不同的原始数据,因此Map与Map之间是互相独立的,这使得它们可以充分并行化 Reduce操作——对每个Map所产生的一部分中间结果进行合并操作,每个Reduce所处理的Map中间结果是互不交叉的,所有Reduce产生的最终结果经过简单连接就形成了完整的结果集 Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k} Reduce: (key, [value1,…,valuem]) ? (key, final_value) 开发者需编写 两个主要函数 Map输入参数:in_key和in_val

文档评论(0)

1亿VIP精品文档

相关文档