Hadoop集群安装指南.docxVIP

Hadoop集群安装指南部署环境：OS： Ubuntu 12.04 64bitJDK：jdk1.6.0_35Hadoop: Hadoop-1.0.3节点信息：节点类型节点名称节点IPNameNode/SecondaryNameNode/TaskTrackermaster 79DataNode/JobTracker datanode1 80DataNode/JobTrackerdatanode2 81环境准备修改主机名# vi /etc/hostname配置完后重启下计算机# reboot配置静态IP# vi /etc/network/interfaces配置完后重启网络# ifdown eth0# ifup eth0修改hosts文件vi /etc/hosts添加上所有节点的IP和主机名的对应记录Ubuntu的hosts文件中，有的记录，可以将该记录注释掉配置集群安装JDK下载安装文件前往Oracle官方网站，下载Linux版本的JDK，需要注意和操作系统匹配；将安装文件复制到安装环境的/opt目录下添加执行权限# chmod 755 /opt/jdk-6u35-linux-x64.bin执行安装文件# /opt/jdk-6u35-linux-x64.bin根据提示操作，完成安装修改环境变量# vi /etc/profile添加以下内容：export JAVA_HOME=/opt/jdk1.6.0_35export PATH=$JAVA_HOME/bin:$PATH重载环境变量# source /etc/profile验证安装成功# which java# java–version# javac–version查看输出信息是否与实际相符建立SSH互信SSH互信是指在不提示输入用户名和密码的情况下通过SSH访问其他主机；在Hadoop中，master会经常访问其他主机运行程序，所以需要配置SSH互信。以下操作均在master上完成。生成密钥# ssh-keygen–t dsa–P ‘’–f ~/.ssh/id_dsa配置ssh无密码登录# cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys验证配置# ssh master登录成功则配置成功。需要注意的是，由于是登录本机，无法从提示符的主机名中判断是否切换主机，需要通过当前路径等方式判断。复制文件到其他主机# scpauthorized_keys datanode1:~/.ssh/# scpauthorized_keys datanode2:~/.ssh/验证配置# ssh datanode1# ssh datanode2登录成功则配置成功。配置Hadoop下载hadoop，并复制到安装环境的/opt目录下解压安装文件# tar xvfhadoop-1.0.3.tar.gz将路径切换到conf目录下# cd /opt/Hadoop-1.0.3/conf修改hadoop-env.sh# viHadoop-env.sh将注释的JAVA_HOME配置改为export JAVA_HOME=/opt/jdk1.6.0_35修改core-site.xml?xml version=1.0??xml-stylesheet type=text/xsl href=configuration.xsl?!-- Put site-specific property overrides in this file. --configuration property name/name valuehdfs://79:9000/value /property property nameHadoop.tmp.dir/name value/tmp/hadoop-root/value /property/configuration修改hdfs-site.xml?xml version=1.0??xml-stylesheet type=text/xsl href=configuration.xsl?!-- Put site-specific property overrides in this file. --configuration property namedfs.replication/name value3/value /property/configuration修改mapred-site.xml?xml version=1.0??xml-stylesheet type=text/xsl href=configuration.xsl?!-- Put