Hadoop集群搭建与核心模块.pdfVIP

1.技术选型

现阶段，Hadoop集群主要有两种方式：

1、使用的安装包，或者的Hadoop源码包自行编译安装，或者使用安装包自行安装。

这种开源的方式最大的好处就是开源不，灵活。

2、使用Hadoop的厂商的套件进行安装，比如Cloudera企业的CDH，HortonWorks的

HDP，当然现在他们合并了，而且也是部分功能的。使用这些厂商的版本最大的好处，

就是相对来说，修复的速度会快于开源社区。

现阶段，比较典型的，就是少部分企业，选择CDH，特别是个别有钱的中小企业。能用钱快速解决的

事情，绝对不程序员自己开发。另外，中大型公司的主流选择，都是使用开源的源码自行编译安

装，然后开发对应的管理平台。好处就是。反正大厂中，没有程序小哥哥解决不了的。实在

不行，还有社区和开源组织。

所以该怎么选，还是根据企业的实际情况来选择。

在此，我们选择开源的Hadoop。感谢Apache和广大开源社区。

2.Hadoop介绍

Hadoop从2.x开始，就开始分化了。逐渐演变成：HDFS，YARN，MapReduce三大应用模块，这

三个应用模块分别的能力和作用是：

1、HDFS：分布式文件系统，用来解决海量大文件的问题2、

MapReduce：一套通用的用来解决海量大文件计算的编程模型API3、

YARN：资源调度/管理系统

其中需要注意的是：这三者之间的关系。彼此独立，又相互依赖。使用MapReduce的分布式编程

API编写分布式计算应用程序，在HDFS上的海量大文件进行计算，由YARN计算资源。

HDFS和YARN可以独立运行。主要表现在：

1.使用MapReduce编写的应用程序也可以运行在其他资源调度系统之上。2.使用其他编程模型

编写的应用程序，比如Storm、Spark、Flink等，也可以运行在YARN集群上。

因此，Hadoop被称为一个成分布式解决方案。

因此，实际上安装Hadoop，其实就是安装HDFS和YARN两个集群。HDFS和YARN都是一个一

主多从的集群。

HDFS集群:

一个NameNode主节点/管理节点

多个DataNode从节点/工作节点

YARN集群：

1.技术选型

现阶段，Hadoop集群主要有两种方式：

1、使用的安装包，或者的Hadoop源码包自行编译安装，或者使用安装包自行安装。这

种开源的方式最大的好处就是开源不，灵活。

2、使用Hadoop的厂商的套件进行安装，比如Cloudera企业的CDH，HortonWorks的HDP，

当然现在他们合并了，而且也是部分功能的。使用这些厂商的版本最大的好处，就是相对

来说，修复bug的速度会快于开源社区。

现阶段，比较典型的，就是少部分企业，选择CDH，特别是个别有钱的中小企业。能用钱快速解决的

事情，绝对不程序员小哥哥自己开发。另外，中大型公司的主流选择，都是使用开源的源码自行编

译安装，然后开发对应的管理平台。好处就是。反正大厂中，没有程序小哥哥解决不了的bug。实

在不行，还有社区和开原组织。

所以该怎么选，还是根据企业的实际情况来选择。

在此，我们选择开源的Hadoop。感谢Apache和广大开源社区。

2.Hadoop介绍

Hadoop从2.x开始，就开始分化了。逐渐演变成：HDFS，YARN，MapReduce三大应用模块，这三个

应用模块分别的能力和作用是：

1、HDFS：分布式文件系统，用来解决海量大文件的问题

2、MapReduce：一套通用的用来解决海量大文件计算的编程模型API

3、YARN：资源调度/管理系统

其中需要注意的是：这三者之间的关系。彼此独立，又相互依赖。使用MapReduce的分布式编程