大数据的处理和分析计算机科学导论第十讲 陈意云.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 数据模式指对某一类数据的结构、属性、联系和约束的描述。 * 数据模式指对某一类数据的结构、属性、联系和约束的描述。 * * * * * * * 大数据的处理 MapReduce编程模型 是批量数据处理的一种常用编程模型，源于函数式编程语言的两个高阶函数：map和reduce map(f1, [x1, …, xn]) = [f1(x1), …, f1(xn)] f1作用于n个变元的计算可以并行 reduce(f2, [y1, …, yn]) = f2(… f2(f2(y1, y2), y3), …, yn) 若二元函数f2是有交换律和结合率的运算，则f2作用于n个变元的计算也可以适当并行 两者的复合： reduce(f2, map(f1, [x1, …, xn])) MapReduce源于此，但更加一般 * MapReduce编程模型 MapReduce是一种比较专用的并行编程模型，面向大数据集上的可并行化的问题 Map