MapReduce框架结构协议.docVIP

----------框架结构技术----------- ---------框架结构技术---------- MapReduce框架结构 MapReduce框架结构 ----------框架结构技术----------- ---------框架结构技术---------- 2 MapReduce 框架结构 Map/Reduce 是一个用于大规模数据处理的分布式计算模型，它最初是由 Google 工程师设 计并实现的，Google 已经将它完整的 MapReduce 论文公开发布了。其中对它的定义是， Map/Reduce 是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个 map 函数来处理一个 key/value 对以生成一批中间的 key/value 对，再定义一个 reduce 函数将所有这些中间的有着相同 key 的 values 合并起来。很多现实世界中的任务都可用这个模型来表达。 Hadoop 的 Map/Reduce 框架也是基于这个原理实现的，下面简要介绍一下 Map/Reduce 框架主要组成及相互的关系。 总体结构 Mapper 和 Reducer 运行于 Hadoop 的 MapReduce 应用程序最基本的组成部分包括一个 Mapper 和一个 Reducer 类，以及一个创建 JobConf 的执行程序，在一些应用中还可以包括一个 Combiner 类，它实际也是 Reducer 的实现。 JobTracker 和 TaskTracker 它们都是由一个 master 服务 JobTracker 和多个运行于多个节点的 slaver 服务 TaskTracker 两个类提供的服务调度的。master 负责调度 job 的每一个子任务 task 运行于slave 上，并监控它们，如果发现有失败的 task 就重新运行它，slave 则负责直接执行每一个task。TaskTracker 都需要运行在 HDFS 的 DataNode 上，而 JobTracker 则不需要，一般情况应该把 JobTracker 部署在单独的机器上。 JobClient ----------框架结构技术----------- ---------框架结构技术---------- 每一个 job 都会在用户端通过 JobClient 类将应用程序以及配置参数 Configuration 打包成 jar 文件存储在 HDFS，并把路径提交到 JobTracker 的 master 服务，然后由 master 创建每一个 Task（即 MapTask 和 ReduceTask）将它们分发到各个 TaskTracker 服务中去执行。 JobInProgress JobClient 提交 job 后，JobTracker 会创建一个 JobInProgress 来跟踪和调度这个 job， 并把它添加到 job 队列里。JobInProgress 会根据提交的 job jar 中定义的输入数据集（已分解成 FileSplit）创建对应的一批 TaskInProgress 用于监控和调度 MapTask，同时在创建指定数目的 TaskInProgress 用于监控和调度 ReduceTask，缺省为 1 个 ReduceTask。 TaskInProgress JobTracker 启动任务时通过每一个 TaskInProgress 来 launchTask，这时会把 Task 对象（即 MapTask 和 ReduceTask）序列化写入相应的 TaskTracker 服务中，TaskTracker 收到后会创建对应的 TaskInProgress（此 TaskInProgress 实现非 JobTracker 中使用的 TaskInProgress，作用类似）用于监控和调度该 Task。启动具体的 Task 进程是通过 TaskInProgress 管理的 TaskRunner 对象来运行的。TaskRunner 会自动装载 job jar，并设置好环境变量后启动一个独立的 java child 进程来执行 Task，即 MapTask 或者 ReduceTask，但它们不一定运行在同一个 TaskTracker 中。 MapTask 和 ReduceTask 一个完整的 job 会自动依次执行 Mapper、Combiner（在 JobConf 指定了 Combiner 时执行）和 Reducer，其中 Mapper 和 Combiner 是由 MapTask 调用执行，Reducer