Linux下搭建hadoop集群环境解析.docxVIP

前期准备l 两台linux虚拟机（本文使用redhat5，IP分别为 10、11）l JDK环境（本文使用jdk1.6，网上很多配置方法，本文省略）l Hadoop安装包（本文使用Hadoop1.0.4）搭建目标210作为主机和节点机，211作为节点机。搭建步骤1修改hosts文件在/etc/hosts中增加：view source1 10 hadoop1 2 11 hadoop2 2 实现ssh无密码登陆2.1 主机（master）无密码本机登陆view source1 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa 直接回车，完成后会在 ~/.ssh/ 生成两个文件： id_dsa 和 id_dsa.pub 。这两个是成对出现，类似钥匙和锁。再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) ：view source1 cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 实验：view source1 ssh localhost hostname 还是要输入密码，一般这种情况都是因为目录或文件的权限问题，看看系统日志，确实是权限问题，.ssh下的authorized_keys权限为600，其父目录和祖父目录应为7552.2 无密码登陆节点机（slave）slave上执行：view source1 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa 生成.ssh目录。将master上的authorized_keys复制到slave上：view source1 scp authorized_keys hadoop2:~/.ssh/ 实验：在master上执行view source1 ssh hadoop2 实现无密码登陆。3 配置Hadoop3.1拷贝hadoop将hadoop-1.0.4.tar.gz ,拷贝到usr/local 文件夹下，然后解压。解压命令：view source1 tar –zxvf hadoop-1.0.4.tar.gz 3.2查看 cat /etc/hostsview source1 10 hadoop1 2 11 hadoop2 3.3 配置 conf/masters 和 conf/slavesconf/masters：view source1 10 conf/slaves：view source1 11 2 11 3.4 配置 conf/hadoop-env.sh加入view source1 export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17 3.5 配置 conf/core-site.xml加入view source1 property 2 name/name 3 valuehdfs://10:9000/value 4 /property 3.6 配置 conf/hdfs-site.xml加入view source01 property 02 namedfs.http.address/name 03 value10:50070/value 04 /property 05 property 06 name.dir/name 07 value/usr/local/hadoop/namenode/value 08 /property 09 property 10 namedfs.data.dir/name 11 value/usr/local/hadoop/data/value 12 /property 13 property 14 namedfs.replication/name 15 value2/value 16 /property 3.7 配置conf/mapred-site.xml加入view source1 property 2 namemapred.job.tracker/name 3 value0:8012/value 4 /property 3.8 建立相关的目录/usr/local/hadoop/ //hadoop数据和namenode目录【注意】只创建到hadoop目录即可，不要手动创建data和namenode目录。其他节点机也同样建立该目录。3.9 拷贝hadoop文件到其他节点机将hadoop文件远程copy到其他节点（这样前面的配置就都映射到了其他节点上），命令：view source1 scp -r hadoop-1.0.4 11:/usr/local/ 3.10 格式化Active