hadoop-MapReduce框的架结构.pdf

Javen-St udio 咖啡小屋 ht t p://javenst udio .org - C++ Java 分布式 搜索引擎 Navens Research Laboratory - Thinking of Life, Imagination of Future C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合 :: 管理 :: 24 随笔 :: 57 文章 :: 15 1 评论 :: 4 Trac bac s 20 11年6月 Annot at ed Hadoo p : 第二节 Ma pRed uce框架结构 日 一 二 三 四 五 六 29 30 3 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 2 Ma pRed uce框架结构 19 20 2 1 22 23 24 25 Ma p/ Red uce是一 用于大规模数据处理的分布式计算模型，它最初是由Goog le工程师设计并实现的，Goog le 已经将它完整 26 27 28 29 30 1 2 的Ma pRed uce论文公开发布了。其中对它的定义是，Ma p/ Red uce是一 编程模型 （prog ra mming model），是一 用于处理和生成大规模 3 4 5 6 7 8 9 数据集 （processing a nd ge nerating la rge data sets）的相关的实现。用户定义一 ma p 函数来处理一 ey/value对以生成一批中间 的 ey/value对，再定义一 red uce 函数将所有这些中间的有着相同 ey 的values合并起来。很多现实世界中的任务都可用这 模型来表达。 常用链接 我的随笔 我的评论 Hadoo p 的Ma p/ Red uce框架也是基于这 原理实现的，下面简要介绍一下Ma p/ Red uce框架主要组成及相互的关系。 我参与的随笔 2.1 总体结构 留言簿(2 9 ) 给我留言 2.1.1 Ma ppe r和Red uce r 查看公开留言 查看私人留言 运行于Hadoo p 的Ma pRed uce应用程序最基本的组成部分包括一 Mapper 和一 Reducer 类，以及一 创建 obConf 的 行程序，在一些 文章档案 应用中还可以包括一 Combiner 类，它实际也是Reducer 的实现。 20 0 8 年12月 (5) 20 0 8 年3月 (2) 2.1.2 Jo bTracke r和Tas kTracke r 20 0 8 年2月 (4) 20 0 7年6月 (1) 它们都是由一 master服务 obTracker 和多 运行于多 节点的slaver服务Task Tracker 两 类提供的服务调度的。master负责调度jo b 的 20 0 7年5月 (5) 每一 子任务tas 运行于slave 上，并监控它们 ，如果发现有失败的tas 就重新运行它，slave则负责直接 行每一 tas 。Task Tracker 都需要 20 0 7年4月 (1)