hadoop部署.docVIP

1. Hadoop安装部署 1.1. 机器说明总共台机器：test11.sqa,test102.sqa, IP地址分别为：192.168..101 …… 02操作系统：Redhat Linuxroot用户密码：test101.sqa(192.16810.101)作为namenode(master),其他的作为datanode(slave) 1.2. 用机器名ping通机器用root用户登录。在上修改/etc/ 目录下的hosts文件，加入如下内容：192.168..101 test101.sqa02 test102.sqa 如果机器名ping通了 1.3. 新建系统hadoop用户 在这4台机器上建hadoop用户，密码：hadoop，默认路径/home/hadoop/。 1.4. SSH设置用hadoop用户登录每台机器(包括namenode)，命令：$chmod 755 .ssh 在namenode执行命令(用新建的hadoop用户登录)：ssh-keygen -t dsa Enter file in which to save the key (/home/hadoop/.ssh/id_dsa):Enter passphrase (empty for no passphrase): Enter same passphrase again:这三个项目都直接回车。cp /home/hadoop/.ssh/id_dsa.pub /home/hadoop/.ssh/authorized_keys scp authorized_keys test102.sqa:/home/hadoop/.ssh/ 此处需要输入远程主机的密码，即test12.sqa机器上hadoop帐户的密码(hadoop)用hadoop用户登录每台机器，修改/home/hadoop/.ssh/authorized_keys文件的权限为：-rw-r–r–，设置命令：cd /home/hadoop/.ssh $chmod 644 authorized_keys设置完成后，测试一下namenode到各个节点的ssh链接，包括到本机，如果不需要输入密码就可以ssh登录，说明设置成功了。 ssh test1.sqa 1.5. 安装JDK到sun网站下载JDK安装包，并在每台机器的root用户下面安装。下面以实例简单描述一下如何安装：下载JDK的rpm包jdk-6u6-linux-i586-rpm.bin#chmod u+x ./jdk-6u6-linux-i586-rpm.bin #./ jdk-6u6-linux-i586-rpm.bin rpm -ivh jdk-6u6-linux-i586.rpm在/etc/ 目录下的profile 文件中内容：export JAVA_HOME=/usr/java/jdk1.6.0_07export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin 1.6. 设置目录并安装Hadoop用hadoop用户登录namenode从/hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz，存放到namenode的hadoop用户的/home/hadoop/HadoopInstall tar zxvf hadoop-0.21.0.tar.gz $ln -s hadoop-0. 0.21.0 hadoop 1.7. Hadoop环境变量设置和配置文件修改在/home/hadoop/HadoopInstall/hadoop-conf/hadoop_env.sh文件中设置环境变量：export JAVA_HOME=/usr/java/jdk1.6.0_06export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop在/home/hadoop/HadoopInstall/hadoop-conf/masters文件中设置namenode：文件内容：test161.sqa在/home/hadoop/HadoopInstall/hadoop-conf/slaves文件中设置datanode：文件内容：test162.sqatest163.sqatest164.sqa在/home/hadoop/HadoopInstall/hadoop-conf/ hadoop-site.xml文件中设置hadoop配置： t