自己配置Hadoop220.doc

总体介绍 虚拟机4台，分布在2个物理机上，配置基于hadoop的集群中包括4个节点： 1个 Master， 3个 Salve，节点之间局域网连接，可以相互ping通，Ip分布为： 12 hadoop1 （Master） 16 hadoop2 （Slave） 07 hadoop3 （Slave） 01 hadoop4 （Slave） 操作系统为 RHEL5.4 64bit，GNU/Linux 2.6.9 Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执 行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启用。后续经验积 累一定阶段后补上一台备用Master机器。 环境准备 创建账户 使用root登陆所有机器后，所有的机器都创建 hadoop 用户 useradd hadoop passwd hadoop 此时在 /home/ 下就会生成一个hadoop目录 ，目录路径为 /home/hadoop 使用hadoop用户登录并创建相关的目录 定义需要数据及目录的存放路径： 定义代码及工具存放的路径： mkdir -p /home/hadoop/source mkdir -p /home/hadoop/tools 定义数据节点存放的路径到根目录下的hadoop文件夹, 这里是数据节点存放目录，需要有足够的空间存放 mkdir -p /hadoop/hdfs mkdir -p /hadoop/tmp mkdir -p /hadoop/log 设置可写权限 chmod -R 777 /hadoop 定义java安装程序路径： mkdir -p /usr/java 安装JDK 1 将下 载好的jdk-6u33-linux-x64-rpm.bin通过 SSH 上传到 /usr/java 下 scp -r ./jdk-6u32-linux-x64.bin root@hadoop1:/usr/java 2 进入 JDK 安装目录 cd /usr/java 且执行 chmod +x jdk-6u33-linux-x64-rpm.bin 3 执行 ./jdk-6u33-linux-x64-rpm.bin 4 配置环境变量，vi /etc/profile ，在行末尾添加 export JAVA_HOME=/usr/java/jdk1.6.0_33 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH 5 执行 chmod +x profile 将其变成可执行文件 6 使配置立即生效 source /etc/profile 7 执行 java -version 查看是否安装成功 这个步骤所有机器都必须安装 [root@hadoop1 bin]# java -version java version 1.6.0_33 Java(TM) SE Runtime Environment (build 1.6.0_33-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.8-b03, mixed mode) 修改主机名 修改主机名，所有节点均一样配置 1 连接到主节点 12 ，修改 network ， 执行 vi /etc/sysconfig/network ，修改 HOSTNAME=hadoop1 2 修改 hosts 文件，vi /etc/hosts ，在行末尾添加 : 12 hadoop1 16 hadoop2 07 hadoop3 01 hadoop4 3 执行 hostname hadoop1 4 执行 exit 后重新 连接可看到主机名以修改 OK 其他节点也修改主机名后添加 Host, 或者 host 文件可以在后面执行 scp 覆盖操作 配置SSH无密码登陆 SSH 无密 码原理简介 : 首先在 hadoop1 上生成一个密钥对，包括一个公钥和一个私钥，并将公钥复制到所有的 slave(hadoop2-hadoop4)机器上。 然后当 master 通过SSH连接slave时，slave就会生成一个随机数并用master的公钥对随机数进行加密，并发送给master。 最后，master收到加密数之后再用私钥解密，并将解密数回传给slave，slave确认解密数无误之后就允许master不输入密码进行连接了 具