Had00p集群安装指南.docxVIP

Hadoop集群安装指南 部署环境： OS： Ubuntu 12.04 64bit JDK： jdk1.6.0_35 Hadoop: Hadoop-1.0.3 节点信息： 节点类型 节点名称 节点IP NameNode/SecondaryNameNode/TaskTracker master 79 DataNode/JobTracker datanode1 80 DataNode/JobTracker datanode2 81 环境准备 修改主机名 # vi /etc/hostname 配置完后重启下计算机 # reboot 配置静态IP # vi /etc/network/interfaces 配置完后重启网络 # ifdown eth0 # ifup eth0 修改hosts文件 vi /etc/hosts 添加上所有节点的IP和主机名的对应记录 Ubuntu的hosts文件中，有的记录，可以将该记录注释掉 配置集群 安装JDK 下载安装文件 前往Oracle官方网站，下载Linux版本的JDK，需要注意和操作系统匹配； 将安装文件复制到安装环境的/opt目录下 添加执行权限 # chmod 755 /opt/jdk-6u35-linux-x64.bin 执行安装文件 # /opt/jdk-6u35-linux-x64.bin 根据提示操作，完成安装 修改环境变量 # vi /etc/profile 添加以下内容： export JAVA_HOME=/opt/jdk1.6.0_35 export PATH=$JAVA_HOME/bin:$PATH 重载环境变量 # source /etc/profile 验证安装成功 # which java # java –version # javac –version 查看输出信息是否与实际相符 建立SSH互信 SSH互信是指在不提示输入用户名和密码的情况下通过SSH访问其他主机；在Hadoop中，master会经常访问其他主机运行程序，所以需要配置SSH互信。以下操作均在master上完成。 生成密钥 # ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa 配置ssh无密码登录 # cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 验证配置 # ssh master 登录成功则配置成功。需要注意的是，由于是登录本机，无法从提示符的主机名中判断是否切换主机，需要通过当前路径等方式判断。 复制文件到其他主机 # scp authorized_keys datanode1:~/.ssh/ # scp authorized_keys datanode2:~/.ssh/ 验证配置 # ssh datanode1 # ssh datanode2 登录成功则配置成功。 配置Hadoop 下载hadoop，并复制到安装环境的/opt目录下 解压安装文件 # tar xvf hadoop-1.0.3.tar.gz 将路径切换到conf目录下 # cd /opt/Hadoop-1.0.3/conf 修改hadoop-env.sh # vi Hadoop-env.sh 将注释的JAVA_HOME配置改为 export JAVA_HOME=/opt/jdk1.6.0_35 修改core-site.xml ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property name/name valuehdfs://79:9000/value /property property nameHadoop.tmp.dir/name value/tmp/hadoop-root/value /property /configuration 修改hdfs-site.xml ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides