超大集群的简单数据处理技术方案.pptVIP

How is this distributed? Partition input key/value pairs into chunks, run map() tasks in parallel After all map()s are complete, consolidate all emitted values for each unique emitted key Now partition space of output map keys, and run reduce() in parallel If map() or reduce() fails, reexecute! —Jeffrey Dean and Sanjay Ghemawat 制作人：郑雅洁 2015.10.31 Jeff?Dean，Google的软件架构天才。Google大型并发编程框架Map/Reduce作者。 在Google，公司最顶尖的编程高手Jeff?Dean曾发明过一种先进的方法，该方法可以让一个程序员在几分钟内完成以前需要一个团队做几个月的项目。他还发明了一种神奇的计算机语言，可以让程序员同时在上万台机器上用最短的时间完成极为复杂的计算任务。 Jeff?Dean于1999年加入Google，目前是Google系统架构小组的成员。他在Google主要负责开发Google的 网页抓取、索引、查询服务以及广告系统等，他对搜索质量实现了多次改进，并实现了Google分布式计算架构的多个部分。 在加入Google之前，他工作于?DEC/Compaq的Western实验室，主要从事软件分析工具、微处理器架构以及信息检索等方面的研究。他于1996年在华盛顿大学获得了博士学位，与Craig?Chambers一起从事面向对象语言的编译器优化技术方面的研究。在毕业之前，他还在世界卫生组织的艾滋病全球规划署工作过。  什么是Map Reduce？ ? MapReduce是一个编程模型 ? 概念“Map”和“Reduce”，是他们的主要思想。 微软著名的C++大师Herb?Sutter曾经说过：“The?Free?Lunch?Is?Over！”。 ?随着摩尔定律的提前终结，免费的午餐终究还要回去。那个依靠硬件升级来提高程序性能的时代已经一去不复返了，面对这一改变，一次全新的软件开发革命就显得尤为重要。 Map Reduce 应时而生！ 为什么需要Map Reduce？ 在Google，MapReduce用在非常广泛的应用程序中，包括“分布grep，分布排序，web连接图反转，每台机器的词矢量，web访问日志分析，反向索引构建，文档聚类,机器学习，基于统计的机器翻译...”值得注意的是，MapReduce实现以后，它被用来重新生成Google的整个索引，并取代老的ad hoc程序去更新索引。 Map Reduce 的用途 简单理解，它主要是两个过程： ? map过程，负责把一个庞大的任务，细分成为一个小任务，然后分配到不同的服务器上运行。 ? reduce过程，则是负责把已经细分的任务的计算结果，重新合并成为想要的完整结果。 Map Reduce 的编程模型 Example: 计算一个大的文档集合中每个单词出现的次数 map(String key, String value): // key: document name // value: document contents for each word w in value: EmitIntermediate(w, “1″); 比如我们有篇文档，内容是??“I?am?a?programmer,?you?are?also?a?programmer”。?经过Map运算后输出的中间文件将会是：?(I,1)?,(am,1)?,(a,1)?,(programmer,1)?,(you,1)?,(are,1)?,(also,1)?,(a,1),(programmer,1).? Reduce操作的输入是单词和出现次数的序列。用上面的例子?(”I”,?[1]),?(”am”