云计算基础架构 云计算基础架构 Google云计算原理与应用（第一部分）3.pptxVIP

Google云计算原理与应用MapReduce ?一种处理海量数据的并行编程模式，用于大规模数据集（通常大于1TB）的并行运算。 ?“Map（映射）”、“Reduce（化简）”的概念和主要思想，都是从函数式编程语言和矢量编程语言借鉴 适合非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等 ?Google拥有海量数据，并且需要快速处理?计算问题简单，但求解困难 ?待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 ?如何进行并行分布式计算？ ?如何分发待处理数据？ ?如何处理分布式计算中的错误？简单的问题，计算并不简单！Jeffery Dean设计一个新的抽象模型， 封装并行处理、容错处理、本地化计算、负载均衡的细节，还提供了一个简单而强大的接口 这就是MapReduceGoogle MapReduce架构设计师Jeffrey Dean分布式数据处理MapReduce ?产生背景 ?编程模型 实现机制 案例分析 MapReduce运行模型 Map函数——对一部分原始数据进行指定的操作。每个Map操作都针对不同的原始数据，因此Map与Map之间是互相独立的，这使得它们可以充分并行化Reduce操作——对每个Map所产生的一部分中间结果进行合并操作，每个Reduce所处理的Map中间结果是互不交叉的，所有Reduce产生的最终结果经过简单连接就形成了完整的结果集开发者需编写两个主要函数 Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k}Reduce: (key, [value1,…,valuem]) ? (key, final_value) Map输入参数：in_key和in_value，它指明了Map需要处理的原始数据 Map输出结果：一组key,value对，这是经过Map操作后所产生的中间结果 开发者需编写两个主要函数 Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k}Reduce: (key, [value1,…,valuem]) ? (key, final_value) Reduce输入参数：（key, [value1,…,valuem]）Reduce工作：对这些对应相同key的value值进行归并处理Reduce输出结果：（key, final_value），所有Reduce的结果并在一起就是最终结果 怎么用MapReduce计算一个大型文本文件中各单词出现次数？Map的输入参数指明了需要处理哪部分数据，以“在文本中的起始位置，需要处理的数据长度”表示，经过Map处理，形成一批中间结果“单词，出现次数”。而Reduce函数处理中间结果，将相同单词出现的次数进行累加，得到每个单词总的出现次数 分布式数据处理MapReduce ?产生背景 ?编程模型 实现机制 案例分析 《云计算（第二版）》购买网址：当当网：/product.aspx?product_id东商城：html