LinuxRedHatCentOS上搭建Hadoop集群.docxVIP

一．Hadoop工作模式：关于Hadoop平台的搭建分为三种模式：1单机模式 ：默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助2.伪分布式模式 ：Hadoop可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop守护进程都作为一个独立的Java进程运行。3.完全分布式模式 ：有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群二．实验环境操作系统:RedHat Enterprise Linux 5.6clovem001 01clovem002 02clovem003 03三．所需软件：Hadoop版本：hadoop-0.20（/apache-mirror//hadoop/common/stable/SSH：必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程 （系统一般默认安装）rsync:用于系统进行远程同步，系统默认安装。JDK版本：JDK1.6 （/technetwork/java/javase/downloads/index.html ）四．实验前期准备【1】安装配置JDK1.安装JDK此处以clovem001为例[root@clovem001 ~]#yum remove java -y //卸载系统JDK[root@clovem001 apache_tomcat]# chmod a+x jdk-6u23-linux-i586.bin //给予可执行权限[root@clovem001 apache_tomcat]# ./jdk-6u23-linux-i586.bin//执行二进制文件的安装…..............................直至出现以下信息表示OK。Press Enter to continue.....Done.此时会在当前目录生成jdk1.6.0_23目录[root@clovem001 apache_tomcat]# cp -r jdk1.6.0_23/ /usr/local/jdk1.6 //拷贝至/usr/local 下并改名[root@clovem001 ~]# cd /usr/local/jdk1.6 //查看安装目录信息[root@clovem001 jdk1.6]# pwd/usr/local/jdk1.62.配置JAVA环境变量：[root@clovem001 jdk1.6]# vi /etc/profile在文件最后添加以下内容：JAVA_HOME=/usr/local/jdk1.6PATH=$PATH:$JAVA_HOME/binCLASSPATH=.$JAVA_HOME/lib/dt.jar:$JAVA_HOME:/lib/tools.jar:$JAVA_HOME/libJRE_HOME=$JAVA_HOME/jreexport JAVA_HOME PATH CLASSPATH JRE_HOME //注意，这一行需要写上，或者在终端中执行导出JAVA_HOME的命令，否则，在实验的时候会提示JAVA_HOME 没有设置执行如下命令使环境变量生效：[root@clovem001 jdk1.6]#source /etc/profile测试配置是否成功：[root@rhel01 jdk1.6]#java –versionjava version 1.6.0_23Java(TM) SE Runtime Environment (build 1.6.0_23-b05)Java HotSpot(TM) Client VM (build 19.0-b09, mixed mode, sharing)【2】配置SSH登录等效性（实现无密钥登录）[root@clovem001 ~]# ssh-keygen -t dsa //一路回车，不输入任何字符[root@clovem001 ~]# ssh-keygen -t rsa //一路回车，不输入任何字符[root@clovem001 ~]# cd .ssh/[root@clovem001 .ssh]# cat id_dsa.pub authorized_keys[root@clovem001 .ssh]# cat id_rsa.pub authorized_keys //生成混合密钥串至此，通过命令ssh 01 可以实现无密钥登录五．实验步骤：【1】实现单机模式下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。 [root@clovem001～]# tar zxvf hadoop-