Ch2-MapReduce简介.pdfVIP

鸣谢：本课程得到Google公司(北京） 中国大学合作部精品课程计划资助 Ch.2. MapReduce简介 1.对付大数据处理-分而治之 2.构建抽象模型-Map和Reduce 3.上升到构架- 自动并行化并隐藏低层细节 4.MapReduce的主要设计思想和特征 大规模数据处理时，MapReduce在三个层面上的基本构思 如何对付大数据处理：分而治之 对相互间不具有计算依赖关系的大数据，实现并行最自 然的办法就是采取分而治之的策略 上升到抽象模型：Mapper与Reducer MPI等并行计算方法缺少高层并行编程模型，为了克服这 一缺陷，MapReduce借鉴了Lisp函数式语言中的思想，用 Map和Reduce两个函数提供了高层的并行编程抽象模型 上升到构架：统一构架，为程序员隐藏系统层细节 MPI等并行计算方法缺少统一的计算框架支持，程序员需 要考虑数据存储、划分、分发、结果收集、错误恢复等 诸多细节；为此，MapReduce设计并提供了统一的计算框 架，为程序员隐藏了绝大多数系统层面的处理细节 什么样的计算任务可进行并行化计算？ 并行计算的第一个重要问题是如何划分计算任务或者计 算数据以便对划分的子任务或数据块同时进行计算。 但一些计算问题恰恰无法进行这样的划分！ English Proverb: Nine women cannot have a baby in one month! 例如：Fibonacci函数: F = F + F k+2 k k+1 前后数据项之间存在很强的依赖关系！只能串行计算！ 结论：不可分拆的计算任务或相互间有依赖关系的数据 无法进行并行计算！ 大数据的并行化计算 一个大数据若可以分为具有同样计算过程的数据块，并 且这些数据块之间不存在数据依赖关系，则提高处理速 度的最好办法就是并行计算 例如：假设有一个巨大的2维数据需要处理(比如求每个元素 的开立方)，其中对每个元素的处理是相同的,并且数据元素 间不存在数据依赖关系,可以考虑不同的划分方法将其划分为 子数组,由一组处理器并行处理 大数据的并行化计算 合并 Master：负责划分和分配任务 Workder：负责数据块计算 大数据任务划分和并行计算模型 大数据计算任务 任务划分 子任务 子任务 …… 子任务 子任务 结果合并 计算结果 借鉴函数式设计语言Lisp的设计思想  函数式程序设计(functional programming)语言Lisp是一种列表处理 语言(List processing)，是一种应用于人工智能处理的符号式语 言，由MIT的人工智能专家、图灵奖获得者John McCarthy于1958 年设计发明。  Lisp定义了可对列表元素进行整体处理的各种操作，如： 如：(add #(1 2 3 4) #(4 3 2 1)) 将产生结果： #(5 5 5 5)  Lisp中也提供了类似于Map和Reduce的操作 如: (map ‘vector #+ #(1 2 3 4 5) #(10 11 12 13 14)) 通过定义加法map运算将2个向量相加产生结果#(11 13 15 17 19) (reduce #’+ #(11 13 15 17 19)) 通过加法归并产生累加结果75 Map: 对一组数据元素进行某种重复式的处理