hadoop2.0安装文档.docx

hadoop2.0安装文档前期准备安装文件版本hadoop版本:hadoop-2.0.0-cdh4.2.2zookeeper 版本:zookeeper-3.4.5-cdh4.2.2hive版本:hive-0.10-cdh4.2.2jdk版本: jdk-6u31-linux-x64.bin(或更高)准备好相应版本安装文件后,请将安装文件上传到集群目录中修改主机名修改IP地址及主机名(以root用户登录,每个节点都需要配置)vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=masterGATEWAY=注: HOSTNAME为当前主机名字,GATEWAY:网关修改/etc/hosts中已经配置了的主机(每个节点都需要配置): localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6主机IP主机名22 master23 Slave21 Slave1linux命令:vi /etc/hosts注:以上配置文件修改完成后,需重启主机生效新建用户创建hadoop 集群专用用户groupadd hadoop (新建hadoop集群用户组)useradd –g hadoop hduser (新建hadoop用户)passwd hduser (设置用户密码,hduser上一步创建的用户)免身份登录进入集群用户 home目录生成公钥和私钥主节点到其它节点ssh-keygen?-t?rsa默认在 ~/.ssh目录生成两个文件： id_rsa：私钥 id_rsa.pub? ：公钥导入公钥到认证文件,更改权限cat?~/.ssh/id_rsa.pub??~/.ssh/authorized_keys??首先将公钥复制到服务器,主节点向其它节点复制.scp?~/.ssh/id_rsa.pub?xxx@host:/home/xxx/id_rsa.pub??以下命令需要在子节点上操作cat?~/id_rsa.pub??~/.ssh/authorized_keychmod?700?~/.sshchmod?600?~/.ssh/authorized_keys执行完以上几步,主节点主可以和子节点无密码连接了.测试命令ssh 子节点主机名或ip地址,第一次连接需确认,第二次以后就不用了安装JDK注:此步骤每个集群节点都需要做,可通过scp命令考贝至集群在jdk-6u31-linux-x64.bin文件存在目录,执行./jdk-6u31-linux-x64.bin将自动解压jdk,并生成相应目录.如无法解压请先设置jdk-6u31-linux-x64.bin权限 chmod 777 jdk-6u31-linux-x64.bin然后在执行./ jdk-6u31-linux-x64.bin操作.在安装完jdk后,需将jdk目录配置到系统环境或用户环境变量中.在当前用户home下,执行vi .bashrc (用户环境变量)增加如下代码:JAVA_HOME=/usr/jdk6/jdk1.6.0_32 (此为jdk安装目录,如有变动时请手动修改)CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATHPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH保存后执行 source .bashrc 让环境变量立即生效1.1关闭防火墙（1）执行命令service iptables status查看防火墙是否允许执行命令service iptables stop关闭防火墙执行命令service iptables status验证是否关闭了（2）执行命令chkconfig --list|grep iptables 查看是否有on执行命令chkconfig iptables off关闭防火墙自动运行执行命令chkconfig --list|grep iptables 查看是否有onhadoop2.0集群安装上传hadoop介质hadoop-2.0.0-cdh4.2.2.tar.gz$tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz 解压缩修改/home/hadoop/hadoop-2.0.0-cdh4.1.2/etc/hadoop/hadoop-env.sh JAVA_HOME=/usr/jdk6/jdk1.6.0_32 (jdk安装目录)以下可根据集群性能酌情配置export