38分治算法：谈一谈大规模计算框架MapReduce中的分治思想.pdfVIP

38|分治算法：谈一谈大规模计算框架MapReduce中的分治思想 38|分治算法：谈一谈大规模计算框架MapReduce中的分治思想 MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。它在倒排索引、PageRank计算、网页分析等搜索引擎相关的技术中都有大量的应 用。 尽管开发一个MapReduce看起来很高深，感觉跟我们遥不可及。实际上，万变不离其宗，它的本质就是我们今天要学的这种算法思想，分治算法。 如何理解分治算法？ 为什么说MapRedue的本质就是分治算法呢？我们先来看，什么是分治算法？ divide and conquer n 分治算法（ ）的核心思想其实就是四个字，分而治之 ，也就是将原问题划分成 个规模较小，并且结构与原问题相似的子问题，递归地解决这些 子问题，然后再合并其结果，就得到原问题的解。 这个定义看起来有点类似递归的定义。关于分治和递归的区别，我们在排序（下）的时候讲过，分治算法是一种处理问题的思想，递归是一种编程技巧。实际 上，分治算法一般都比较适合用递归来实现。分治算法的递归实现中