hadoop api介绍.pdfVIP

Hadoop API 使用介绍 2009-11-17 00:57 Hadoop API 被分成（divide into）如下几种主要的包（package） org.apache.hadoop.conf 定义了系统参数的配置文件处理API。 org.apache.hadoop.fs 定义了抽象的文件系统API。 org.apache.hadoop.dfs Hadoop 分布式文件系统（HDFS）模块的实现。 org.apache.hadoop.io 定义了通用的I/O API，用于针对网络，数据库，文件等数据 对象做读写操作； org.apache.hadoop.ipc 用于网络服务端和客户端的工具，封装了网络异步I/O 的基 础模块。 org.apache.hadoop.mapred Hadoop 分布式计算系统（MapReduce）模块的实现， 包括任务的分发调度等。 org.apache.hadoop.metrics 定义了用于性能统计信息的API，主要用于mapred 和 dfs 模块。 org.apache.hadoop.record 定义了针对记录的I/O API 类以及一个记录描述语言翻译 器，用于简化将记录序列化成语言中性的格式（language-neutral manner）。 org.apache.hadoop.tools 定义了一些通用的工具。 org.apache.hadoop.util 定义了一些公用的API。 MapReduce 框架结构 Map/Reduce 是一个用于大规模数据处理的分布式计算模型，它最初是由Google 工程 师设计并实现的，Google 已经将它完整的MapReduce 论文公开发布了。其中对它的定义是， Map/Reduce 是一个编程模型（programming model），是一个用于处理和生成大规模数据集 （processing and generating large data sets）的相关的实现。用户定义一个map 函数 来处理一个key/value 对以生成一批中间的key/value 对，再定义一个reduce 函数将所有 这些中间的有着相同key 的values 合并起来。很多现实世界中的任务都可用这个模型来表 达。 Hadoop 的Map/Reduce 框架也是基于这个原理实现的，下面简要介绍一下Map/Reduce 框架主要组成及相互的关系。 2.1 总体结构 2.1.1 Mapper 和Reducer 运行于 Hadoop 的 MapReduce 应用程序最基本的组成部分包括一个 Mapper 和一个 Reducer 类，以及一个创建 JobConf 的执行程序，在一些应用中还可以包括一个Combiner 类，它实际也是Reducer 的实现。 2.1.2 JobTracker 和TaskTracker 它们都是由一个 master 服务 JobTracker 和多个运行于多个节点的 slaver 服务 TaskTracker 两个类提供的服务调度的。master 负责调度job 的每一个子任务task 运行于 slave 上，并监控它们，如果发现有失败的task 就重新运行它，slave 则负责直接执行每一 个task。TaskTracker 都需要运行在HDFS 的DataNode 上，而JobTracker 则不需要，一般 情况应该把JobTracker 部署在单独的机器上。 2.1.3 JobClient 每一个 job 都会在用户端通过 JobClient 类将应用程序以及配置参数 Configuration 打包成jar 文件存储在HDFS，并把路径提交到JobTracker 的master 服务，然后由master 创建每一个Task （即MapTask 和ReduceTask）将它们分发到各个TaskTracker 服务中去执 行。 2.1.4 JobInProgress JobClient提交job后，JobTr