Hadoop 2.0 详细配置教程.docxVIP

Hadoop 2.0 详细配置教程 作者：杨鑫奇 前言 Hadoop2.0 介绍 Hadoop 是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含 hadoop common ： 为其他项目提供基础设施 HDFS ：分布式的文件系 统 MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一个 简化分布式编程的框架。 其他工程包含： Avro( 序列化系 统 ) ， Cassandra( 数据 库项目 ) 等 Hadoop,以 Hadoop 分布式文件系统（ HDFS ，Hadoop Distributed Filesystem ）和 MapR educe （ Google MapReduce 的开源实现）为核心的 Hadoop 为用户提供了系统底层细节透明的分布式基础架构。 对于 Hadoop 的集群来讲，可以分成两大类角色： Master 和 Salve 。一个 HDFS 集群是由一个 NameNode 和若干个 DataNode 组成的。其中 NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的 DataNode 管理存 储的数据。MapReduce 框架是由一个 单独运行在主节点上的 JobTracker 和 运行在每个集群从节点的TaskTracker 共同 组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同 的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节 点指派的任务。当一个 Job 被提交 时， JobTracker 接收到提交作 业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控 TaskTracker 的 执行。 从上面的介 绍可以看出， HDFS 和 MapReduce 共同 组成了 Hadoop 分布式系 统体系结构的核心。 HDFS 在集群上 实现分布式文件系统， MapReduce 在集群上 实现了分布式计算和任务处理。 HDFS 在 MapReduce 任 务处理过程中提供了文件操作和存储等支持， MapReduce 在 HDFS 的基 础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了 Hadoop 分布式集群的主要任 务。 为什么要使用 2.0 版本（来自董的博客） 该版本提供了一些新的、重要的功能，包括： HDFS HA ，当前只能 实现人工切换。 Hadoop HA 分支 merge 进了该版本，并支持热切，主要特性包括： （ 1 ） NN 配置文件有改变，使得配置更加简单 （ 2 ） NameNode 分 为两种角色： active NN 与 standby NN ， active NN 对外提供读写服务，一旦出现故障，便切换到 standby NN 。 （ 3 ） 支持 Client 端重定向，也就是 说，当 active NN 切 换到 standby NN 过程中， Client 端所有的 进行时操作都可以无缝透明重定向到 standby NN 上， Client 自己感 觉不 到切换过程。 （ 4 ） DN 同 时向 active NN 和 standby NN 汇报 block 信息。具体 设计文档参考： /jira/browse/HDFS-1623 当前 Hadoop HA 只能 实现人工切换，该功能在某些情况下非常有用，比如，对 NN 进行升级时，先将 NN 切 换到 standby NN ，并 对之前的 active NN 进行升级，升级完成后，再将 NN 切 换至升级后的 NN 上，然后 对 standby NN 进行升级。 YARN ，下一代 MapReduce 这是一套资源统一管理和调度平台，可管理各种计算框架，包括 MapReduce 、 Spark 、 MPI 等 。 YARN 是一套 资源统一管理和调度平台，可管理各种计算框架，包括 MapReduce ，Spark ， MPI 等。尽管它是完全重写而成，但其思想是从 MapReduce 衍化而来的，并克服了它在 扩展 性 和 容 错 性 等 方 面 的 众 多 不 足 。 具 体 参 考 ： /common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html HDFS Federation ，允 许 HDFS 中存在多个 NameNode ，且每个 NameNode 分管一部分