安装1.1.2大葫芦岛来得及啊.docVIP

第一步：首先准备三个虚拟机，用VMware做载体，linux版本为CentOS6.4。 准备好这些东西之后，用ssh远程连接客户端来远程连接我们的linux，另外需要有一点就是这三台机器的防火墙确保是关闭的，可以通过如下命令来查看防火墙状态。 同时关闭防火墙自动运行， 第二步：因为hadoop是用Java来写的，所以确保在这三台机器上都安装jdk了。 这里简单说明一下如何安装jdk，可以通过wget 从oracle官网下载.tar.gz，或者因为我这里的net adapter选择是host only，所以没办法上网，只能先下载到windows上，然后在上传的linux服务器上，安装和简单，用tar -zxvf jdk.tar.gz之后，在/etc/profile环境变量配置文件中，像windows上一样配置一下JAVA_HOME,同时将JAVA_HOME添加进path里面，刷新一下/etc/profile文件即可。 第三步，这才开始安装hadoop啦。 首先可以看到我的hadoop安装在和jdk在同一个目录下 安装和jdk类似，就是先解压gz压缩包，然后修改环境变量，在配置几个配置文件。 主要添加HADOOP_HOME，将其添加进系统的环境变量里面。这个图片如上图。 验证安装，使用hadoop version仅仅是安装，此时没有做任何配置。 第四步，hadoop配置 主要配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred -site.xml hadoop-env.sh主要将被注释掉的JAVA_HOME打开 用蓝线括起来的原来是注释掉的，现在加注释打开，并且配置一下前面配置的JAVA_HOME即可。然后保存退出。 core-site.xml 和文件名称一致，配置hadoop最核心的数据 配置FileSystem的网络地址和hadoop可以说数据保存地址 存放hdfs上的数据和mapred。 hdfs-site.xml 最简单的两个配置，数据备份数量，这里因为自己做练习，为了节省空间，就备份了1分。 mapred-site.xml 主要就是配置jobtracker和tasktracker了。 第五步，启动，运行 首先是对刚刚配置好的hadoop进行格式化一下，使用命令，因为之前已经安装过，里面也有数据，就不再格式化了，需要注意的是只能格式化一次，如果需要重新格式化的话，就需要先将hadoop.tmp.dir和log删除之后，再进行格式化 随后便是启动hadoop了，可以分别启动namenode和datenode，也可以一次性全部启动。 用start-all.sh启动hadoop，然后用jps查看相关java进程是否被启动，如上便是安装成功，可以进行一些简单的命令操作看看安装情况。 下面就是hadoop的集群安装了。 准备两个和master一样的linux系统，首先要确保这三台机器能够正常通信，很关键一点我们要确保集群之间能够免密码登录，减少操作麻烦。这里就不详细说明了。 主要在 这样就可以进行master和slave之间ssh免密码登录了。 为了简单起见，可以讲刚才安装好的master的jdk和hadoop以及/etc/profile文件完全拷贝过来，通过scp命令 然后执行以下source刷新一下/etc/profile文件 同理slave2的做法和slave1一模一样。 这个时候，再回到master上来，现将其停掉，使用stop-all.sh 然后修改slaves配置文件，将localhost注释掉，添加slave1和slave2（当然这里面的s1ave1、slave2是需要在/etc/hosts文件中进行配置的 ） 然后在master里面做hadoop namenode -format格式化，然后启动集群start-all.sh master里面看： slave1 slave2 当然也可以在浏览器里查看hdfs和jobtracker信息。 Jobtracker 至此，1.1.2的集群安装完毕