在VM下hadoop集群搭建.docVIP

. .. （原创）VM下搭建hadoop集群 前期准备 1.安装VMware_Workstation_wmb 2.安装三台CentOS-6.3-i386-bin-DVD1 Master；192.168.66.174 Slave1：192.168.66.171 Slave2：9:1.168.66.173 安装步骤： （在安装centos时就把pc的名字改好，免得后面改hostname） 1.在每台pc上的/etc/hosts中加入： 127.0.0.1 localhost 192.168.66.174 master 192.168.66.171 slave1 192.168.66.173 slave2 2.在每台pc安装java： 在/etc/profile中加入： export JAVA_HOME=/usr/local/java/jdk1.6.0_45 exportPATH=:$JAVA_HOME/bin:/sbin:/usr/bin:/usr/sbin:/bin export CLASSPATH=.:$JAVA_HOME/lib 3.配置SSH无密码登录： 在每台pc上面： ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 700 .ssh chmod 644 authorized_keys 编辑sshd配置文件/etc/ssh/sshd_config， 把#AuthorizedKeysFile .ssh/authorized_keys前面的注释取消掉。 在master上面： ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1 ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2 重启 service sshd restart 在slave1上面： ssh-copy-id -i ~/.ssh/id_rsa.pub root@master ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2 重启 service sshd restart 在slave2上面： ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1 ssh-copy-id -i ~/.ssh/id_rsa.pub root@master 重启 service sshd restart 再ssh slave1;ssh slave2;ssh master验证 **遇到Agent admitted failure to sign using the key解決方式 使用 ssh-add 指令将私钥 加进来 （根据个人的密匙命名不同更改 id_rsa）# ssh-add ~/.ssh/id_rsa **遇到ssh: connect to host master port 22: No route to host是由于ip地址问题，检查/etc/hosts 4.配置hadoop 下载hadoop后 scp hadoop-1.2.0.tar.gz root@slave1:/usr/local tar xzvf hadoop-1.2.0.tar.gz mv hadoop-1.2.0 /usr/local/hadoop 在profile和./bashrc中加入： export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin 配置hadoop-env.sh 设置JAVA_HOME 配置core-site.xml property namefs.default.name/name valuehdfs://master:9000/value finaltrue/final /property property namehadoop.tmp.dir/name value/home/hadoop/hadoop/data/hdfs/tmp/value /property 配置mapred-site.xml property namemapred.job.tracker/name valuemaster:9001/value /property 配置hdfs-site.xml !-- master配 -- property namedfs.name.dir/name value/home/hadoop/hadoop/data/hdfs/name/valu