Hadoop云计算平台搭建最详细过程共.docxVIP

HadooP云计算平台及相关组件搭建安装过程详细教程 HbaSe+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse 等 安装环境简介 根据官网，HadOOP已在IinUX主机组成的集群系统上得到验证，而WindOWS平 台是作为开发平台支持的，由于分布式操作尚未在WindOWS平台上充分测试， 所以还不作为一个生产平台。WindOWS下还需要安装Cygwin, CygWin是在 WinelOWS平台上运行的UNlX模拟环境，提供上述软件之外的SheII支持。 实际条件下在WindOWS系统下进行HadOOP伪分布式安装时,出现了许多未知问 题。在IinUX系统下安装，以伪分布式进行测试，然后再进行完全分布式的实 验环境部署。HadOOP完全分布模式的网络拓补图如图六所示： （1） 网络拓补图如六所示： 图六完全分布式网络拓补图 （2） 硬件要求：搭建完全分布式环境需要若干计算机集群，MaSter和SIaVeS 处理器、内存、硬盘等参数要求根据情况而定。 （3）软件要求 操作系统64位版本: NO. PrOjeCt VerSiOn COntent 1 HardWaree CPU: MaSter/NameNodeIP nvironmen Disk:150GB SIaVeI/DataNodeIP t MemOry: SIaVe2/DataNodeIP 2 OPeratiOn SyStem 64~bit 3 JDK ∕usr∕bin∕jvm 4 HadOOP /home, majiangbo∕ （可选） 并且所有机器均需配置SSH免密码登录。 HadOOP集群安装部署 目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中 有以下角色:MaSter 和 S1 a ve J ObTraCker 和 TaSkTraCker NameNode 和 DataNOdeO 下面为这三台机器分配IP地址以及相应的角色： masterr namenode, jobtracker master （主机名） slave, datanode, tasktracker SIaVeI （主机名） slave, datanode, tasktracker SIaVe2 （主机名） 实验环境搭建平台如图七所示： 图七hadoop集群实验平台 并且，HadOOP要求集群上每台的用户账户名和密码相同。具体安装步骤如下： 下载和安装JDK,版本为 （I） JDK的安装目录为∕usr∕lib∕jvm,创建此文件夹，在终端输入命令： mkdir/usr/1ib/jvm （2）权限不够的话重新改下用户密码就可以了，命令:SUelOPaSSWd,之后重 新输入密码。 （3）移动jdk到∕usr∕lib∕jvm,并解压，然后为了节省空间删除安装包。命 令： mvjdk∕usr∕lib∕jvm tar - ZXVfjdk rm - rfjdk 配置环境变量 在终端输入命令：SUdOgedit/etc/PrOf 打开PrOfile文件,在文件最下面输入如下内容，如图八所示： 图八JAVA环境变量设置 即为： Jtsetjavaenvironment exportJAVA_HOME=∕usr∕lib∕jvm exportCLASSPATH=” . ：SJAVA_HOME/lib:$CLASSPATH” exportPATH=” SJAVA_HOME/:$PATH” 这一步的意义是配置环境变量，使系统可以找到jdk。 验证JDK是否安装成功 （1） 输入命令：java - version,如图九所示。如果出现java版本信息， 说明当前安装的jdk并未设置成UbUntU系统默认的jdk,接下来还需 要手动将安装的jdk设置成系统默认的Jdko 图九java版本信息 （2） 手动设置需输入以下命令： SUdOUPdate-alternatives - InStaII∕usr∕bin∕javajava/usr/1ib∕jv m300 SUdOUPdate-alternatives insta11/USr/bin/javacjavac/uSr/Iib/ jvmjavac300 SUdOUPdate-alternatiVeS - COnfigjaVa 然后输入java - VerSiOn就可以看到所安装的jdlc的版本信息。 三台主机上分别设置/?tc/hosts和/etc/hostname HOStS这个文件用于定义主机名和IP地址之间的对应关系，而hostname这 个文件用于定义你的UbUntU的主机名。 （1） 修改/etc/hosts,命令 SUClOgeClit/etc/hosts IOCaIhOSt master SIa