大数据的处理和分析计算机科学导论第十讲 陈意云.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 数据模式指对某一类数据的结构、属性、联系和约束的描述。 * 数据模式指对某一类数据的结构、属性、联系和约束的描述。 * * * * * * * 大数据的处理 MapReduce编程模型 是批量数据处理的一种常用编程模型，源于函数式编程语言的两个高阶函数：map和reduce map(f1, [x1, …, xn]) = [f1(x1), …, f1(xn)] f1作用于n个变元的计算可以并行 reduce(f2, [y1, …, yn]) = f2(… f2(f2(y1, y2), y3), …, yn) 若二元函数f2是有交换律和结合率的运算，则f2作用于n个变元的计算也可以适当并行 两者的复合： reduce(f2, map(f1, [x1, …, xn])) MapReduce源于此，但更加一般 * MapReduce编程模型 MapReduce是一种比较专用的并行编程模型，面向大数据集上的可并行化的问题 Map完成过滤或分类，例如，它把数据集中所有的人按姓氏分成若干队列，每个姓氏一个队列； Reduce完成概括总结操作，例如，计算各姓氏队列中的人数，产生按姓氏的人口比例 MapReduce可以在并行计算机、计算机集群和计算机网格上实现 大数据的处理 * MapReduce编程模型 计算过程如图所示 程序员只需编 写Map和Reduce 函数 1. Map任务 执行Map函数的 多个任务并行执行 每个Map任务把文 件块转换成“键-值” (key-value)对序列 大数据的处理 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) * MapReduce编程模型 2. 按键组合 其处理方式与 两个函数无关 把“键-值”对序 列组成“键-值表”对 序列 把各“键-值表”对 分发给Reduce任务 按键组合由主控 程序完成 大数据的处理 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) * MapReduce编程模型 3. Reduce任务 执行Reduce函 数的多个任务并 行执行 每个Reduce任务 把“键-值表”对中 的值以某种方式组 合，转换成“键-值” 对输出 大数据的处理 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) * 当矩阵很大时，可用MapReduce 实现矩阵运算。对于分块乘： 1. Map任务计算两块的乘，用结 果在Z中的位置作为键 2. Reduce任务按键值来分别累加 Map任务的结果 b n 大数据的处理 X: Y: Z: * 当矩阵很大时，可用MapReduce 实现矩阵运算。对于分块乘： 1. Map任务计算两块的乘，用结 果在Z中的位置作为键 2. Reduce任务按键值来分别累加 Map任务的结果 b n 大数据的处理 X: Y: Z: * b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用MapReduce 实现矩阵运算。对于分块乘： 1. Map任务计算两块的乘，用结 果在Z中的位置作为键 2. Reduce任务按键值来分别累加 Map任务的结果 * b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用MapReduce 实现矩阵运算。对于分块乘： 1. Map任务计算两块的乘，用结 果在Z中的位置作为键 2. Reduce任务按键值来分别累加 Map任务的结果 * 当矩阵很大时，可用MapReduce 实现矩阵运算。对于分块乘： 1. Map任务计算两块的乘，用结 果在Z中的位置作为键 2. Reduce任务按键值来分别累加 Map任务的结果 b n 大数据的处理 X: Y: Z: * b n 大数据的处理 X: Y: Z: 当矩阵很大时，可用MapReduce 实现矩阵运算。对于分块乘： 1. Map任务计算两块的乘，用结 果在Z中的位置作为键 2. Reduce任务按键值来分别累加 Map任务的结果 * b n 大数据的处理 X: Y: Z: 当矩阵很大