3-MapReduce编程详解分析和总结.pdfVIP

MapReduce 编程 一、实验目的 1、理解 MapReduce 编程模型基本知识 2、掌握 MapReduce 开发环境的搭建 3、掌握 MapReduce 基本知识，能够运用 MapReduce 进行基本的开发 二、实验原理 MapReduce 是 Hadoop 两个最基础最重要的核心成员之一。它是大规模数据（ TB 级） 计算的利器， Map 和 Reduce 是它的主要思想，来源于函数式编程语言。从编程的角度来 说 MapReduce 分为 Map 函数和 Reduce 函数， Map 负责将数据打散， Reduce 负责对数据进 行聚集，用户只需要实现 map 和 reduce 两个接口， 即可完成 TB 级数据的计算。 Hadoop Map Reduce 的实现采用了 Master/Slave 结构。Master 叫做 JobTracker ，而 Slave 叫做 TaskTracker 。 用户提交的计算叫做 Job，每一个 Job 会被划分成若干个 Tasks。JobTracker 负责 Job 和 Tasks 的调度， 而 TaskTracker 负责执行 Tasks。常见的应用包括： 日志分析和数据挖掘等数据分析 应用，另外，还可用于科学数据计算，如圆周率 PI 的计算等。 MapReduce 框架的核心步骤主要分两部分： Map 和 Reduce。当你向 MapReduce 框架 提交一个计算作业时，它会首先把计算作业拆分成若干个 Map 任务，然后分配到不同的节 点上去执行，每一个 Map 任务处理输入数据中的一部分，当 Map 任务完成后，它会生成 一些中间文件，这些中间文件将会作为 Reduce 任务的输入数据。 Reduce 任务的主要目标 就是把前面若干个 Map 的输出汇总到一起并输出。按照以上基本的描述，其工作图如下。 从工作流程来讲， MapReduce 对应的作业 Job 首先把输入的数据集切分为若干独立的数 据块，并由 Map 组件以 Task 的方式并行处理。处理结果经过 排序后，依次输入给 Reduce 组件， 并且以 Task 的形式并行处理。 MapReduce 对应的输入输出数据由 HDFS 的 DataNode 存储。 MapReduce 对应的 Job 部署在 Master 服务器，由 Master JobTracker 负责 Task 的调 度，监控，重新执行失败的任务等等。 MapReduce 对应的 Job 部署在若干不同的 Slave 服务 器，每个集群节 点含一个 slave TaskTracker，负责执行由 master 指派的任务。 从高层抽象来看， MapReduce 的数据流图如下图所示： 三、实验内容 1、MapReduce 计算模型描述 2、MapReduce 编程基本知识 3、MapReduce 开发环境的搭建 4、MapReduce 实例开发演练 四、实验步骤 本实验以 unbutu14.04,hadoop2.20 集群为前提进行实验。 Hadoop 集群 ip 及角色分配如下 17 master (namenode) 00 slaver1 (datanode) 01 slaver2 (datanode) 第一部分： MapReduce 计算模型描述 对于 mapreduce 编程模型，引用一个个人认为比较经典的图片来说明问题 . 如上图所示： 1. 首先，我们能确定我们有一份输入 , 而且他的数据量会很大 2. 通过 split 之后 , 他变成了若干的分片 , 每个分片交给一