Haoop实验境的搭建.docVIP

一、Hadoop的分布式模式安装过程：（Ubuntu Linux） 1、集群环境介绍 ?????集群环境中有三个结点，其中1个namenode，2个datanode，它们之间分布在局域网中，相互之间可以ping通。具体的IP地址为： ??? namenode：8 ??? datanode1：1 ??? datanode2：6 ??? 三台结点计算机都是Ubuntu Linux 系统，是在Virtual Workstation6.5中的虚拟机，并且都有一个相同的用户quinty（安装系统时的首个用户，具有管理员的权限），在/home/quinty目录下均有一个hadoopinstall目录，用于存放hadoop-0.20.2安装文件，hadoop的整个目录结构是/home/quinty/hadoopinstall/hadoop-0.20.2。 2、准备工作 1）ssh无密码验证配置 ????? Hadoop需要使用ssh协议，namenode使用ssh协议启动namenode和datanode进程，为使Hadoop集群能够正常启动，需要在namenode和datanode结点之间设置ssh无密码验证。 ?? A.安装和启动ssh协议（所有机器上） ????? $sudo apt-get install ssh? （安装ssh） ????? $sudo apt-get install rsync ????? $ssh sudo /etc/init.d/ssh restart? （启动ssh）? ???????执行完毕，机器之间可以通过密码验证相互登录。 ?? B.生成密码对（所有机器） ????? ~$ssh-keygen -t rsa??? //将在~/.ssh 目录下生成私钥id_rsa和公钥id_rsa.pub ????? ~$chmod 755 .ssh ?? C.在namenode结点上做配置 ???? ~/.ssh$cp id_rsa.pub authorized_keys?????? //namenode的公钥 ???? ~/.ssh$scp authorized_keys data结点的ip地址:/home/quinty/.ssh?? //namenode 可以无密码登录所有datanode结点（ssh ip地址? 验证） ??? D.在datanode结点上做配置 ???? ~/.ssh$scp id_rsa.pub 8:/home/quinty/.ssh/datanode 的ip地址.id_rsa.pub ???? 然后在namenode中， ???? ~/.ssh$cat datanode 的ip地址.id_rsa.pub authorized_keys ????这样datanode 可以无密码登录namenode（ssh ip地址? 验证） 2）jdk安装及环境配置 jdk-6u22-linux-i586.bin， #chmod 755 jdk-6u22-linux-i586.bin #./jdk-6u22-linux-i586.bin //解压在当前目录,接着做好环境配置 //我将jdk解压在/home/quinty/ vi /etc/profile.d/java.sh //写入 #set java environment JAVA_HOME=/home/quinty/jdk_1.6.0_22 CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH Export JAVA_HOME CLASSPATH PATH 保存退出，然后给java.sh分配权限 chmod 755 /etc/profile.d/java.sh 通过java –version检查JDK是否安装成功。 2、Hadoop集群的配置vi /etc/profile? 加入#set hadoop path export HADOOPHOME=home/quinty/hadoopinstall/hadoop0.20.2 export PATH=$HADOOPHOME/bin:$PATH Hadoop配置文件在conf目录下，接下来配置以下五个文件 2)配置Hadoop-env.sh export JAVA_HOME=/home/quinty/jdk1_6_0_22 3)core-site.xml configuration property namehadoop.tmp.dir/name value/home/quinty/hadoopinstall/tmp/value /prope