Hadoop平台搭建方案参照.pdfVIP

Hadoop平台搭建方案 一、 Hadoop简介 Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。以 Hadoop 分布式文件系统（ HDFS，Hadoop Distributed Filesystem）和 MapReduce （Google MapReduce 的开源实现） 为核心的 Hadoop 为用户提供了系统底层细节透明的分 布式基础架构。 对于 Hadoop的集群来讲，可以分成两大类角色： Master 和 Salve 。一个 HDFS 集群是由一个 NameNode和若干个 DataNode组成的。其中 NameNode作为主服务 器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的 DataNode 管理存储的数据。 MapReduce框架是由一个单独运行在主节点上的 JobTracker 和运行在每个集群从节点的 TaskTracker 共同组成的。主节点负责 调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控 它们的执行情况， 并且重新执行之前的失败任务； 从节点仅负责由主节点指派的 任务。当一个 Job 被提交 时，JobTracker 接收到提交作业和配置信息之后，就 会将配置信息等分发给从节点，同时调度任务并监控 TaskTracker 的执行。 从上面的介绍可以看出， HDFS和 MapReduce共同组成了 Hadoop分布式系统 体系结构的核心。 HDFS在集群上实现分布式文件系统， MapReduce在集群上实现 了分布式计算和任务处理。 HDFS在 MapReduce任务处理过程中提供了文件操作 和存储等支持， MapReduce在 HDFS的基础上实现了任务的分发、跟踪、执行等 工作，并收集结果，二者相互作用，完成了 Hadoop分布式集群的主要任务。 二、系统安装及日常维护须知 服务器型号： IBM X3850 X5 1. 平时操作注意事项： 机器上安装的有 CentOS_6.4_64位操作系统和 Windows server 2000 操作系 统。 当重新启动时，想进入 CentOS系统，需要先插上 CentOS的 U盘启动盘，然 后 F12 选择从 USB设备启动，系统就会自动进入 CentOS系统。 若不插 U盘启动盘，系统将会自动进入机器上原来的 windows server 2000 系统。不会像普通个人计算机那样出现操作系统选择的界面。 2.U 盘启动盘制作方式： 由于此服务器不支持 CentOS的系统引导，安装的时候不识别 CentOS6.4_64 位系统光盘。 于是采用将系统镜像写入 U盘，做成 U盘启动盘， 制作 U盘时选择 写入新的主硬盘引导记录 (MBR)。这样， 安装的时候插入 U盘，选择从 U盘启动， 便可通过 U盘引导进入 CentOS系统的安装界面，之后也可以选择从 U盘安装也 可选择从光驱安装系统。 制作步骤： 用软碟通，先选定 CentOS 系统镜像，然后点菜单栏启动选项，点写入硬盘 映像，写入方式 USB-HDD+,便捷启动选择写入新的主硬盘引导记录 (MBR)， USB-HDD+。写盘结束后进入 U 盘启动盘，进入 EFI 文件夹，删除 BOOTX64.efi 文件 ( 重要 ，见 注.) 。至此， U盘启动盘制作 OK。 注： 之所以