Google云计算原理-并行数据处理模型MapReduce.pptVIP

Google云计算原理-并行数据处理模型MapReduce 主要内容（6学时） Google云计算原理 并行数据处理模型MapReduce 摩尔定律 集成电路芯片上所集成的电路的数目，每隔18个月就翻一番，同时性能也提升一倍 经验总结，12个月-18个月-24个月 并行计算基础 Gordon Moore “免费的性能大餐”？ Andy giveth, and Bill taketh away 软件算法、数据结构似乎不再重要，因为处理器性能不断提升 并行计算基础 免费的午餐已经结束！！ Intel Microsoft 摩尔定律正在走向终结… 单芯片容纳晶体管的增加，对制造工艺提出要求 CPU制造18nm技术，电子泄漏问题 CPU主频已达3GHz时代，难以继续提高 散热问题（发热太大，且难以驱散） 功耗太高 并行计算基础 未来的发展：多核 在多核时代生存，必须考虑并发问题 不存在解决多核编程问题的银弹， 不存在可以简单地将并发编程问题化解掉的工具， 开发高性能的并行程序必须要求开发者从根本上改变其编程方法 从某种意义上来说，这不仅仅是要改变50年来顺序程序设计的工艺传统， 而且是要改变数百万年来人类顺序化思考问题的习惯 并行计算基础 Herb Sutter 串行编程 早期的计算里，程序一般是被串行执行的 程序是指令的序列，在单处理器的机器里，程序从开始到结束，这些指令一条接一条的执行 并行编程 一道处理可以被划分为几部分,然后它们可以并发地执行 各部分的指令分别在不同的CPU上同时运行，这些CPU可以存在于单台机器中,也可以存在于多台机器上,它们通过连接起来共同运作 并行计算基础 什么样的问题适合并行计算？ 斐波那契序列(Fibonacci)的计算？ 并行计算基础 什么样的问题适合并行计算？ 如果有大量结构一致的数据要处理，且数据可以分解成相同大小的部分， 那我们就可以设法使这道处理变成并行 并行计算基础 并行计算模式 并行计算基础 并行计算与分布式计算有何联系与区别？ Google拥有海量数据，并且需要快速处理 为什么需要MapReduce？ 对爬虫获取的网页进行倒排索引 计算网站的PageRank 分析搜索趋势(Google Trends) 计算网页的访问量 …… 美国总统奥巴马 “Greatness is never a given, it Must be earned.” 计算问题简单，但求解困难 待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 如何进行并行分布式计算？ 如何分发待处理数据？ 如何处理分布式计算中的错误？ 为什么需要MapReduce？ 简单的问题，计算并不简单！ 为什么需要MapReduce？ Google MapReduce 架构设计师 Jeffrey Dean Jeffery Dean设计一个新的抽象模型， 使我们只要执行的简单计算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使并行编程时不必关心它们 这就是MapReduce 一个软件架构，是一种处理海量数据的并行编程模式 用于大规模数据集（通常大于1TB）的并行运算 MapReduce实现了Map和Reduce两个功能 Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集 Reduce对结果集进行分类和归纳 Map()和 Reduce() 两个函数可能会并行运行，即使不是在同一的系统的同一时刻 MapReduce MapReduce示例：单词计数 案例：单词记数问题(Word Count) 给定一个巨大的文本（如1TB），如何计算单词出现的数目？ MapReduce示例：单词计数 使用MapReduce求解该问题 定义Map和Reduce函数 MapReduce示例：单词计数 使用MapReduce求解该问题 Step 1: 自动对文本进行分割 MapReduce示例：单词计数 使用MapReduce求解该问题 Step 2:在分割之后的每一对key,value进行用户定义的Map进行处理，再生成新的key,value对 MapReduce示例：单词计数 使用MapReduce求解该问题 Step 3:对输出的结果集归拢、排序(系统自动完成） MapReduce示例：单词计数 使用MapReduce求解该问题 Step 4:通过Reduce操作生成最后结果 Google MapReduce执行流程 1、处理流程 2、分片方式 源文件：GFS Map处理结果：本地存储 Reduce处理结果：GFS 日志：GFS 文件存储位置