超大集群的简单数据处理概述.pptVIP

How is this distributed? Partition input key/value pairs into chunks, run map tasks in parallel After all map s are complete, consolidate all emitted values for each unique emitted key Now partition space of output map keys, and run reduce in parallel If map or reduce fails, reexecute! —Jeffrey Dean and Sanjay Ghemawat 制作人：郑雅洁 2015.10.31 Jeff?Dean，Google的软件架构天才。Google大型并发编程框架Map/Reduce作者。 在Google，公司最顶尖的编程高手Jeff?Dean曾发明过一种先进的方法，该方法可以让一个程序员在几分钟内完成以前需要一个团队做几个月的项目。他还发明了一种神奇的计算机语言，可以让程序员同时在上万台机器上用最短的时间完成极为复杂的计算任务。 Jeff?Dean于1999年加入Google，目前是Google系统架构小组的成员。他在Google主要负责开发Google的 网页抓取、索引、