《物联网技术》 第五章 物联网智能处理.pptxVIP

桂小林 1;云计算技术的优势;云计算技术的优势; MapReduce简介;大规模数据处理时，MapReduce在三个层面上的基本构思 如何对付大数据处理：分而治之 对相互间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略 上升到抽象模型：Mapper与Reducer MPI等并行计算方法缺少高层并行编程模型，为了克服这一缺陷，MapReduce借鉴了Lisp函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型 上升到构架：统一构架，为程序员隐藏系统层细节 MPI等并行计算方法缺少统一的计算框架支持，程序员需要考虑数据存储、划分、分发、结果收集、错误恢复等诸多细节；为此，MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节;什么样的计算任务可进行并行化计算？ 并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的子任务或数据块同时进行计算。 但一些计算问题恰恰无法进行这样的划分！ Nine women cannot have a baby in one month! 例如：Fibonacci函数: Fk+2 = Fk + Fk+1 前后数据项之间存在很强的依赖关系！只能串行计算！ 结论：不可分拆的计算任务或相互间有依赖关系的数据无法进行并行计算！;大数