Google云计算原理-并行数据处理模型MapReduce.pdf

电子工业出版社刘鹏主编《云计算》教材配套课件3 并行数据处理模型MapReduce  摩尔定律 ◦ 集成电路芯片上所集成的电路的数目， 每隔18个月就翻一番，同时性能也提升 一倍 ◦ 经验总结，12个月-18个月-24个月 Gordon Moore  “免费的性能大餐”？ ◦ Andy giveth, and Bill taketh away ◦ 软件算法、数据结构似乎不再重要，因为处理器性能不断 提升 免费的午餐已经结束！！ 免费的午餐已经结束！！ Intel Microsoft  摩尔定律正在走向终结… ◦ 单芯片容纳晶体管的增加，对制造工艺提出要求 ◦ CPU制造18nm技术，电子泄漏问题 ◦ CPU主频已达3GHz时代，难以继续提高  散热问题（发热太大，且难以驱散）  功耗太高 未来的发展：多核 未来的发展：多核  在多核时代生存，必须考虑并发问题  不存在解决多核编程问题的银弹， 不存在可以简单地将并发编程问题化 解掉的工具， 开发高性能的并行程序 必须要求开发者从根本上改变其编程 方法  从某种意义上来说，这不仅仅是要改 变50年来顺序程序设计的工艺传统， Herb Sutter 而且是要改变数百万年来人类顺序化思考问题的习 惯  串行编程 ◦ 早期的计算里，程序一般是被串行执行的 ◦ 程序是指令的序列，在单处理器的机器里，程序从开始 到结束，这些指令一条接一条的执行  并行编程 ◦ 一道处理可以被划分为几部分,然后它们可以并发地执行 ◦ 各部分的指令分别在不同的CPU上同时运行，这些CPU 可以存在于单台机器中,也可以存在于多台机器上,它们 通过连接起来共同运作  什么样的问题适合并行计算？ ◦ 斐波那契序列(Fibonacci)的计算？  什么样的问题适合并行计算？ ◦ 如果有大量结构一致的数据要处理，且数据可以分解成 相同大小的部分， 那我们就可以设法使这道处理变成并 行  并行计算模式 并行计算与分布式计算有何联系 并行计算与分布式计算有何联系 与区别？ 与区别？  Google拥有海量数据，并且需要快速处理 对爬虫获取的网页进行倒排索引 对爬虫获取的网页进行倒排索引 “Greatness is never a given, it Must 计算网站的PageRank 计算网站的PageRank 分析搜索趋势(Google Trends) be earned.” 分析搜索趋势(Google Trends) 计算网页的访问量 计算网页的访问量 …… …… 美国总统奥巴马  计算问题简单，但求解困难 ◦ 待处理数据量巨大（PB级），只有分布在成百上千个节点 上并行计算才能在可接受的时间内完成