hadoop系统伪分布搭建.docVIP

Mapreduce程序设计报告 姓名： 学号： 题目： Hadoop系统伪分布搭建和运行 实验环境 联想pc机 虚拟机：VM 10.0 操作系统：Centos 6.4 Hadoop版本：hadoop 1.2.1 Jdk版本：jdk-7u25 系统安装步骤： 2.1安装配置SSH 在CentOs中，已经安装ssh与sshd，可用which命令查看 打开终端，在终端中中键入：ssh -keygen -t rsa生成无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。 id_rsa.pub追加到授权的key里面去 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys mkdir /usr/java //建立java文件夹 //复制JDK文件夹包 cd /usr/java //进入jdk文件夹 tar –zxvf jdk-7u25-linux-x64.tar.gz //解压jdk文件 mv jdk1.7.0_25 jdk //重新命名jdk文件夹 rm –rf jdk-7u25-linux-x64.tar.gz //删除jkd压缩包 2.3配置JDK环境变量 使用root权限进行操作，输入命令：vim /etc/profile 按i进入编辑，在文件的最后，添加环境变量语句： 按esc，接着按:wq保存退出，执行命令source /etc/profile 使环境变量生效 使用命令 java -version检测环境变量是否配置成功。 要是出现以上情况，说明jdk配置成功。 2.4安装Hadoop 打开终端，输入命令 cp /home/tzj/hadoop/hadoop-1.2.1.tar /usr #复制hadoop安装包到usr目录 cd /usr #进入/usr目录 tar –zxvf hadoop-1..1.tar.gz #解压hadoop-1..1.tar.gz安装包 mv hadoop-1..1 hadoop #将hadoop-1..1文件夹重命名hadoop chown –R tzj:tzj hadoop #将文件夹hadoop读权限分配给hadoop用户 rm –rf hadoop-1.0.0.tar.gz???????????????? #删除hadoop-1.0.0.tar.gz安装包 按esc，接着按:wq保存退出，执行命令source /etc/profile 使环境变量生效 （2）配置hadoop-env.sh 在文本最后添加 # set java environment export JAVA_HOME=/jdk1.7.0_25 （3）配置core-site.xml 在文本最后添加： configuration property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value （备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹） descriptionA base for other temporary directories./description /property !-- file system properties -- property name/name valuehdfs://localhost：9000/value /property /configuration （4）配置hdfs-site.xml 在文本最后添加： configuration property namedfs.replication/name value1/value (备注：replication 是数据副本数量，默认为3，salve少于3台就会报错) /property configuration （5）配置mapred-site.xml 在文本最后添加： configuration property namemapred.job.tracker/name valuehttp://localhost:9001/value /property /configuration 2.6启动