Hadoop安装-保你一次成功.docVIP

Hadoop安装部署步骤 目录 Hadoop安装部署步骤 1 目录 1 虚拟机安装 2 一、硬件环境 2 二、相关软件 2 三、JDK1.6安装和配置 3 四、安装Hadoop?及配置 3 五、打开9000和9001端口方法 5 六：常遇问题解决办法 6 1、关闭防火墙，每台机子都要关 6 2、修改主机名和设置固定IP 6 3、更换IP需要做什么？ 7 本文以虚拟机安装hadoop集群为例!!!安装过程如有疑问请email:zhiying8710@ 虚拟机安装 不要用Cgywin 系统都为位的Centos 5硬件环境??? 机器，通过hostname进行设置：???????? master(02) slave1(01) … 虚拟机上安装linux的话，用使用桥接的方式，在虚拟机系统名称上点右键——设置： 如果桥接不行可以选NAT 给每个linux设置固定的ip,因为不设置的话虚拟机每次启动的时候会重新分配ip. 二、相关????????? hadoop-0.20.2 jdk-6u30-linux-i586.bin ? 三、JDK1.6安装和配置??????? 上运行二进制文件：./jdk-6u18-linux-x64-rpm.bin 或 ??????? 编辑机器的/etc/profile,增加如下内容 xport JAVA_HOME=/usr/jdk1.6.0_21 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH= $PATH:$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin?????? ? 注:环境变量视具体安装情况而定,下同 四、安装Hadoop? (1)以root登录，在masterslave1上分别修改/etc/hosts，添加如下内容:????????????????? 192.168. 1.102 master????????????????? 01 slave1??????????????? ?(2)用root登陆,建立hadoop用户 useradd hadoop passwd hadoop 输入容易记忆的密码：如hadoop (3)进入hadoop目录，使用如下命令：（注意权限问题） 注意：如果是master和salve的IP有变化的话，需要重新执行此步。 （出现问题可使用root账户查看/var/log/secure日志文件） su - hadoop?????? #进入hadoop用户目录 ssh-keygen -t rsa #建立ssh目录,敲回车到底这个命令将为hadoop上的用户hadoop生成其密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passphrase的时 候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，默认存储在//.ssh目录下 –l id_rsa id_rsa.pub (4)这一步骤仅在master上执行，下列命令会提示你输入的密码，按照提示输入即可，如果失败可重新尝试执行命令cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #把公用密匙添加到authorized_keys 文件中（此文件最后一定要赋予644权限） ssh slave1 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #上面条命令是把其他slave节点的公钥拷贝到master节点中的authorized_keys，#有几个slave节点就需要运行几次命令，slave1是节点名称 scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys #把authorized_keys文件拷贝回每一个节点，slave1是节点名称 (5)在master上连接所有slave节点，输入如下命令，上有几个slave节点就要输入几次，注意每次输入后，要返回master节点，重新输入命令： ssh slave1 #需要选择yes/no 选择yes即可 此时 ls .ssh 结果如下： authorized_keys id_rsa id_rsa.pub known_hosts (6)Hadoop的安装将下载好的hadoop-0.20.2.tar.gz文件上传到四台机器上的/ ? ? ? ? ? ? ? ?//解压文件 ????????????????????? ?????????????? ? tar hadoop-0.20.