云计算原理之并行数据处理模型.pptxVIP

云计算原理之并行数据处理模型会计学第1页/共32页Google云计算原理并行数据处理模型MapReduce并行计算基础第2页/共32页Gordon Moore摩尔定律集成电路芯片上所集成的电路的数目，每隔18个月就翻一番，同时性能也提升一倍经验总结，12个月-18个月-24个月并行计算基础第3页/共32页免费的午餐已经结束！！IntelMicrosoft“免费的性能大餐”？Andy giveth, and Bill taketh away软件算法、数据结构似乎不再重要，因为处理器性能不断提升并行计算基础第4页/共32页未来的发展：多核摩尔定律正在走向终结…单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高并行计算基础第5页/共32页Herb Sutter在多核时代生存，必须考虑并发问题不存在解决多核编程问题的银弹， 不存在可以简单地将并发编程问题化解掉的工具， 开发高性能的并行程序必须要求开发者从根本上改变其编程方法从某种意义上来说，这不仅仅是要改变50年来顺序程序设计的工艺传统， 而且是要改变数百万年来人类顺序化思考问题的习惯并行计算基础第6页/共32页串行编程早期的计算里，程序一般是被串行执行的程序是指令的序列，在单处理器的机器里，程序从开始到结束，这些指令一条接一条的执行并行编程一道处理可以被划分为几部分,然后它们可以并发地执行各部分的指令分别在不同的CPU上同时运行，这些CPU可以存在于单台机器中,也可以存在于多台机器上,它们通过连接起来共同运作并行计算基础第7页/共32页什么样的问题适合并行计算？斐波那契序列(Fibonacci)的计算？并行计算基础第8页/共32页什么样的问题适合并行计算？如果有大量结构一致的数据要处理，且数据可以分解成相同大小的部分， 那我们就可以设法使这道处理变成并行并行计算基础第9页/共32页并行计算与分布式计算有何联系与区别？并行计算模式为什么需要MapReduce？第10页/共32页对爬虫获取的网页进行倒排索引计算网站的PageRank分析搜索趋势(Google Trends)计算网页的访问量……“Greatness is never a given, it Must be earned.”美国总统奥巴马Google拥有海量数据，并且需要快速处理为什么需要MapReduce？第11页/共32页简单的问题，计算并不简单！计算问题简单，但求解困难待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成如何进行并行分布式计算？如何分发待处理数据？如何处理分布式计算中的错误？为什么需要MapReduce？第12页/共32页Jeffery Dean设计一个新的抽象模型， 使我们只要执行的简单计算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使并行编程时不必关心它们这就是MapReduceGoogle MapReduce架构设计师Jeffrey DeanMapReduce第13页/共32页一个软件架构，是一种处理海量数据的并行编程模式用于大规模数据集（通常大于1TB）的并行运算MapReduce实现了Map和Reduce两个功能Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集Reduce对结果集进行分类和归纳Map()和 Reduce() 两个函数可能会并行运行，即使不是在同一的系统的同一时刻第14页/共32页MapReduce示例：单词计数案例：单词记数问题(Word Count)给定一个巨大的文本（如1TB），如何计算单词出现的数目？第15页/共32页MapReduce示例：单词计数使用MapReduce求解该问题定义Map和Reduce函数第16页/共32页MapReduce示例：单词计数使用MapReduce求解该问题Step 1: 自动对文本进行分割第17页/共32页MapReduce示例：单词计数使用MapReduce求解该问题Step 2:在分割之后的每一对key,value进行用户定义的Map进行处理，再生成新的key,value对第18页/共32页MapReduce示例：单词计数使用MapReduce求解该问题Step 3:对输出的结果集归拢、排序(系统自动完成）第19页/共32页MapReduce示例：单词计数使用MapReduce求解该问题Step 4:通过Reduce操作生成最后结果Google MapReduce执行流程第20页/共32页1、处理流程2、分片方式文件存储位置第21页/共32页源文件：GFSMap处理结果：本地存储Reduce处理结果：GFS日志：GFS思考第22页/共32页Googl