hadoop版本差异详解.docx.pdfVIP

Hadoop 版本的关键特性调研报高 Apache Hadoop Apache 版本衍化 Apache Hadoop 版本分为两代，我们将第一代 Hadoop 称为 Hadoop 1.0，第二代 Hadoop 称为 Hadoop 2.0。第一代Hadoop 包含三个大版本，分别是 0.20.x，0.21.x 和 0.22.x，其中，0.20.x 最后演化成 1.0.x，变成了稳定版，而0.21.x 和 0.22.x 则NameNode HA 等新的重大特性。第二代 Hadoop 包含两个版本，分别是 0.23.x 和 2.x，它们完全不 同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation 和 YARN 两个系统，相比 于 0.23.x，2.x 增加了 NameNode HA 和 Wire-compatibility 两个重大特性。经过上面的 大体解释，大家可能明白了 Hadoop 以重大特性区分各个版本的，总结起来，用于区分 Hadoop 版本的特性有以下几个： (1)Append 支持文件追加功能，如果想使用 HBase，需要这个特性。 (2)RAID 在保证数据可靠的前提下，通过引入校验码较少数据块数目. (3)Symlink支持 HDFS 文件链接 (4)Security Hadoop安全。 需要注意的是，Hadoop 2.0 主要由 Yahoo 独立出来的 hortonworks 公司主持开发。 2013 年 10 月，Hadoop 2.0 发布。关键特性包括： a) YARN YARN 是 “Yet Another Resource Negotiator”的简称，它是Hadoop 2.0 引入的一 个全新的通用资源管理系统，可在其之上运行各种应用程序和框架，比如MapReduce、Tez、 Storm 等，它的引入使得各种应用运行在一个集群中成为可能。YARN 是在 MRv1 基础上 衍化而来的，是 MapReduce 发展到一定程度的必然产物，它的出现使得 Hadoop 计算类 应用进入平台化时代，我的博客中包含大量介绍 YARN 的文章，有兴趣的读者可阅读： /category/mapreduce-nextgen/ b) HDFS 单点故障得以解决 Hadoop 2.2.0 同时解决了NameNode 单点故障问题和内存受限问题，其中，单点故 障是通过主备 NameNode 切换实现的，这是一种古老的解决服务单点故障的方案，主备 NameNode 之间通过一个共享存储同步元数据信息，因此共享存储系统的选择称为关键， 1 而 Hadoop 则提供了 NFS、QJM 和 Bookeeper 三种可选的共享存储系统，具体可阅读我的 这篇文章：Hadoop 2.0 单点故障问题方案总结。 c)HDFS Federation 前面提到 HDFS 的NameNode 存在内存受限问题，该问题也在 2.2.0 版本中得到了解 决。这是通过 HDFS Federation 实现的，它允许一个 HDFS 集群中存在多个 NameNode， 每个 NameNode 分管一部分目录，而不同 NameNode 之间彼此独立，共享所有 DataNode 的存储资源，注意，NameNode Federation 中的每个NameNode 仍存在单点问题，需为每 个 NameNode 提供一个 backup 以解决单点故障问题。 d)HDFS 快照 HDFS 快照是指 HDFS 文件系统（或者子系统）在某一时刻的只读镜像，它的出现使 得管理员可定时为重要文件或目录做快照，以防止数据误删、丢失等。具体可阅读： Snapshots for HDFS （使用说明），Support for RW/RO snapshots in HDFS。 通过 NFSv3 访问 HDFS NFS 允许用户像访问本地文件系统一样访问远程文件系统，而将 NFS 引入HDFS 后， 用户可像读写本地文件一样读写 HDFS 上的文件，大大简化了 HDFS 使用，这是通过引入 一个 NFS gateway 服务实现的，该服务能将 NFS 协议转换为 HDFS 访问协议，具体如下图 所示。有兴趣的读者可阅读：Support NFSv3 interface to HDFS，以及相关设计文档： HD