hadoop2.6.4文档.docx

Hadoop集群安装1.配置服务器1个主节点：master(28)，2个（从）子节点，slaver1(29)，slaver2(30)配置主节点名(28)vi /etc/sysconfig/network添加内容：NETWORKING=yesHOSTNAME=master配置两台子节点名(29)和(30)vi /etc/sysconfig/network添加内容：NETWORKING=yesHOSTNAME=slaver1vi /etc/sysconfig/network添加内容：NETWORKING=yesHOSTNAME=slaver2配置hosts打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。vi /etc/hosts28master29 slaver130 slaver2保存之后，将主节点的hosts分别拷贝到其他两个子节点scp /etc/hosts root@29:/etc/scp /etc/hosts root@30:/etc/然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostsnamehostsname例如：master上执行 /bin/hostsname master，使之生效。2.配置ssh无密码访问生成公钥密钥对在每个节点上分别执行：ssh-keygen -t rsa一直按回车直到生成结束执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件id_rsa和 id_rsa.pub其中前者为私钥，后者为公钥在主节点上执行：cp id_rsa.pub authorized_keys将子节点的公钥拷贝到主节点并添加进authorized_keys将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：scp~/.ssh/ id_rsa.pubroot@master:/~/.ssh/id_rsa_slaver1.pubscp~/.ssh/ id_rsa.pubroot@master:/~/.ssh/id_rsa_slaver2.pub然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去主节点上执行：catid_rsa_slaver1.pubauthorized_keyscatid_rsa_slaver2.pubauthorized_keys最后测试是否配置成功在master上分别执行ssh slaver1ssh slaver2能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。这里的配置方式可以有多种操作步骤，最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。将主节点的authorized_keys文件分别替换子节点的authorized_keys文件主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置scpauthorized_keysroot@slaver1:/root/.ssh/scpauthorized_keys root@slaver2:/root/.ssh/3.安装jdk卸载jdk查看系统已经装的jdk：rpm -qa|grepjdk卸载jdk:rpm -e --nodeps java-1.6.0-openjdk-javadoc--3.0.el6.x86_64安装JDK（三台机器都要安装）安装在同一位置/opt/java/jdk1.7.0_72下载JDK解压JDK ：tar -zxvf /opt/java/jdk-7u72-linux-x64.gz配置环境变量,编辑profile文件：vi /etc/profile在profile文件末尾添加以下代码:export JAVA_HOME=/opt/java/jdk1.7.0_72export JRE_HOME=$JAVA_HOME/jreexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib保存后，使刚才编辑的文件生效：source /etc/profile测试是否安装成功：java –version4.安装hadoop在master主机上安装hadoop安装位置自定，例如安装在/usr目录下面下载hadoop包，放在/usr目录下，解压hadooptar -zxvf /opt/hadoop/hadoop-2.6.4.tar.gz在usr下面生成hadoop-2.6.4目录配置环境变量：vi /etc/profile在末尾添加：export HADOOP_H