【Hadoop实验一】三节点完全模式安装分析.doc

Hadoop 1.0.4 安装指南 Create: Linou Last Update: Version: Version Person Date Comments 1.0 Linou 2013/1/2 Contents 1 环境准备 3 1.1 环境介绍 3 1.2 建立Hadoop运行帐号 3 1.3 配置SSH免密码登录 3 1.4 下载并解压Hadoop安装包到指定目录 4 2 配置Hadoop 5 2.1 配置namenode, 修改.xml文件 5 2.2 配置hadoop-env.sh 6 2.3 配置master和slaves文件 6 2.4 向各个节点复制Hadoop 6 3 格式化namenode 7 3.1 格式化namenode 7 4 启动Hadoop 8 4.1 启动hadoop 8 4.2 检查后台进程 8 5 测试 9 5.1 上传文件到HDFS 9 5.2 创建目录 9 5.3 显示文件内容 9 5.4 删除目录，文件 9 环境准备 1.1 环境介绍 本次实验使用Oracle VM VirtualBox搭建虚拟机。 本机环境： 虚拟机环境： 机器 IP name 内存 硬盘 Master 01 master 2048M 30G slave1 02 slave1 1024M 30G slave2 03 slave2 1024M 30G 1.2 建立Hadoop运行帐号 分别在各个节点执行下面脚本 #!/bin/bash groupadd hadoop useradd hadoop -g hadoop;echo hadoop|passwd --stdin hadoop 1.3 配置SSH免密码登录 首先所有节点上执行： ??su - hadoop ? ?ssh-keygen -t dsa 然后分别在各个节点上执行： master： ? ? cd .ssh/ ? ? ?cat id_rsa.pubauthorized_keys ? ? ?scp?authorized_keys slave1:/home/hadoop/.ssh/ slave1: ? ? cd .ssh/ ? ? ?cat id_rsa.pubauthorized_keys ? ? ?scp?authorized_keys slave2:/home/hadoop/.ssh/ slave2: ? ? cd .ssh/ ? ? ?cat id_rsa.pubauthorized_keys ? ? ?scp?authorized_keys master:/home/hadoop/.ssh/ master: ? ???scp?authorized_keys slave1:/home/hadoop/.ssh/ ? ? ?scp?authorized_keys slave2:/home/hadoop/.ssh/ 遇到一个问题，怎么设置都还是问我要密码！！！ 最后查到是因为authorized_keys的权限问题，把权限设置为600 chmod 600 authorized_keys 一切OK！！！ 1.4 下载并解压Hadoop安装包到指定目录 首先在master节点上完成配置之后拷贝到各个节点上去 [oracle@192 hadoop]$ cp -r hadoop-1.0.4 /u01/app/ 配置Hadoop 2.1 配置namenode, 修改.xml文件 cd /u01/app/hadoop/conf/ vi core-site.xml?add? property????name/name????valuehdfs://01:9000/value/property vi hdfs-site.xml property????namedfs.data.dir/name ????value/u01/app/data/hdfs/value/property property????namedfs.replication/name ????value2/value/property vi mapred-site.xml? property?????namemapred.job.tracker/name ?????valuehdfs://01:9001/value/property 2.2 配置hadoop-env.sh 2.3 配置master和slaves文件 vi master 01 vi slaves 02 03 2.4 向各个节点复制Hadoop scp -r ./hadoop/ 02:/u01/appscp -r ./hadoop/