细细品味Hadop_Hadoop集群(第5期)_Hadoop安装配置_转转大师.docVIP

细细品味 Hadoop ——Hadoop集群（第 5期） 精 华 集 锦 csAxp 虾皮工作室 /xia520pi/ 2012 年 4 月 30 日 创建时间：2012/2/26修改时间：2012/3/17修改次数：1 Hadoop集群（第 5期） ——Hadoop安装配置 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop 分布式文件系统（HDFS，Hadoop Distributed Filesystem）和 MapReduce（Google MapReduce的开源实现）为核心的 Hadoop为用户提供了系统底层细节透明的 分布式基础架构。 对于 Hadoop的集群来讲，可以分成两大类角色：Master和 Salve。一个 HDFS集群是 由一个 NameNode和若干个 DataNode组成的。其中 NameNode作为主服务器，管理文件系 统的命名空间和客户端对文件系统的访问操作；集群中的 DataNode管理存储的数据。 MapReduce框架是由一个单独运行在主节点上的 JobTracker和运行在每个集群从节点的 TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同 的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由 主节点指派的任务。当一个 Job被提交时，JobTracker接收到提交作业和配置信息之后，就 会将配置信息等分发给从节点，同时调度任务并监控 TaskTracker的执行。 从上面的介绍可以看出，HDFS和 MapReduce共同组成了 Hadoop分布式系统体系结构 的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和 任务处理。HDFS在 MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce 在 HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用， 完成了 Hadoop分布式集群的主要任务。 1.2环境说明 集群中包括 4个节点：1个 Master，3个 Salve，节点之间局域网连接，可以相互 ping 通，具体集群信息可以查看“Hadoop集群（第 2期）”。节点 IP地址分布如下： 机器名称 IP地址 Master.Hadoop Salve1.Hadoop Salve2.Hadoop Salve3.Hadoop 四个节点上均是 CentOS6.0系统，并且有一个相同的用户 hadoop。Master机器主要配 置 NameNode和 JobTracker的角色，负责总管分布式数据和分解任务的执行；3个 Salve机 器配置 DataNode和 TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还 应该有 1个 Master机器，用来作为备用，以防止 Master服务器宕机，还有一个备用马上启 河北工业大学——软件工程与理论实验室 编辑：虾皮 1 创建时间：2012/2/26修改时间：2012/3/17修改次数：1 用。后续经验积累一定阶段后补上一台备用 Master机器。 1.3网络配置 Hadoop集群要按照 1.2小节表格所示进行配置，我们在“Hadoop集群（第 1期）”的 CentOS6.0安装过程就按照提前规划好的主机名进行安装和配置。如果实验室后来人在安装 系统时，没有配置好，不要紧，没有必要重新安装，在安装完系统之后仍然可以根据后来的 规划对机器的主机名进行修改。 下面的例子我们将以 Master机器为例，即主机名为“Master.Hadoop”，IP为“” 进行一些主机名配置的相关操作。其他的 Slave机器以此为依据进行修改。 1）查看当前机器名称 用下面命令进行显示机器名称，如果跟规划的不一致，要按照下面进行修改。 hostname 上图中，用“hostname”查“Master”机器的名字为“Master.Hadoop”，与我们预先规 划的一致。 2）修改当前机器名称 假定我们发现我们的机器的主机名不是我们想要的，通过对“/etc/sysconfig/network” 文件修改其中“HOSTNAME”后面的值，改成我们规划的名称。 这个“/etc/sysconfig/network”文件是定义 hostname和是否利用网络的不接触网络设备 的对系统全体定义的文件。 设定形式：设定值 值 “/etc/sysconfig/network”的设定项目如下： NETWORKING是否利用网络 GATEWAY默认网关 IPGATEWAYDEV默认网关的接口名