Hadoop 三台主机 集群搭建 详解.doc

部署环境： OS：Redhat 5.5 Enterprise JDK：jdk1.6.0_32 Hadoop：Hadoop-0.20.2 VMWare：7.0 节点安排及网络拓扑： 节点类型　　　　　　节点IP　　　　　　节点hostname master节点　　　　 　　master slave节点　　　　　 　　master(此时，master既是master节点，也是slave节点) 　　　　　　　　　　　　salve1 　　　　　　　　　　　　slave2 secondaryName节点　　master(此时，master既是master节点，也是slave节点，也是secondaryNameNode) 配置步骤： 一、网络配置 首先关闭三台虚拟机的防火墙，步骤可参考：关闭防火墙 先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络，先配置master节点的网络： 静态网络IP配置见VMware Redhat网络配置，分别将三台虚拟机的IP进行设置 修改主机名：vi /etc/hosts(解析IP要用)，添加 master slave1 slave2 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置 二、 安装jdk Hadoop 是用java开发的，Hadoop的编译及mapreduce的运行都需要使用JDK，所以JDK是必须安装的 下载jdk，/technetwork/java/javase/downloads/index.html 在用户根目录下，建立bin文件夹：mkdir ~/bin（也可放在其他处，个人习惯而已） 改变执行权限：chmod u+x jdk-6u26-linux-i586.bin 执行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路确定 配置环境变量：vi ~/.bash_profile,添加： export JAVA_HOME=/root/bin/jdk1.6.0_32export PATH=$PATH:$JAVA_HOME/bin 使profile文件生效：source?~/.bash_profile 验证是否配置成功：which java [root@master ~]# which java/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定 分别相同配置另外两台主机 JDK Installation End 三、建立ssh互信 hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程，所以SSH是必须安装的（redhat 5.5 Enterprise 以默认安装）。但是是否建立ssh互信（即无密码登陆）并不是必须的，但是如果不配置，每次启动hadoop，都需要输入密码以便登录到每台机器的Datanode上，而一般的hadoop集群动辄数百或数千台机器，因此一般来说都会配置ssh互信。 生成密钥并配置ssh无密码登陆主机(在master主机) ssh -keygen -t dsa -P -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 将authorized_keys文件拷贝到两台slave主机 scp?authorized_keys slave1:~/.ssh/ scp?authorized_keys slave2:~/.ssh/ 检查是否可以从master无密码登陆slave机 ssh slave1(在master主机输入) 登陆成功则配置成功，exit退出slave1返回master 四、配置Hadoop 下载：点击到下载页面，选择hadoop-0.20.2.tar.gz 放到~/bin下解压： tar -xzvf?hadoop-0.20.2.tar.gz 解压后进入：~/bin/hadoop-0.20.2/conf/，修改配置文件： 修改hadoop-env.sh: export JAVA_HOME=/root/bin/jdk1.6.0_32hadoop-env.sh里面有这一行，默认是被注释的，只需要把注释去掉，并且把JAVA_HOME 改成你的java安装目录即可 修改core-site.xml ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- config