VMWareWorkstation安装和配置Hadoop群集环境.docxVIP

在VMWare Workstation上安装和配置Hadoop群集环境使用软件及版本如下：VMWare Workstation：VMware-workstation-full-7.1.3JDK：1.6.0_25Hadoop：hadoop-0.21.0Linux：Redhat Linux 9.0Linux客户端：SSHSecureShellClient-3.2.9VMWare Workstation安装略Redhat Linux 9.0 此处选择自定义 根据自己情况进行分区，此处为了简单，选择自动分区 关闭防火墙 为了节省资源，任何软件都不勾选 按照同样的步骤继续安装其他两个虚拟机，安装完成之后，VMWare Workstation界面如下图所示：安装的三个虚拟机 更改三个虚拟机的网络连接方式选中要更改的虚拟机，右击设置（Settings）改为桥接方式配置虚拟机的IP地址以root用户登录虚拟机，然后输入如下指令：设置IP地址和默认网关，然后进行保存。IP地址和默认网关根据自己需要进行设置。【关于vi ， 网上有很多资料，这里不详细说明】配置虚拟机的主机名输入如下指令设置主机名，根据自己的需要进行设置 笔者测试环境的虚拟机的IP地址和主机名的对应情况如下：Red Hat Linux1 88 redhat1 Red Hat Linux2 89 redhat2Red Hat Linux3 90 redhat3设置完成之后，在行每台虚拟机之间执行ping命令，保证虚拟机之间网络没有问题。安装JDK①安装JDK之前，先下载用于登录Linux的客户端SSH Secure Shell Client。下载地址：/softdown/20089_2.htm/softdown/20089_2.htm（如果地址无效，可在网上搜索SSH Secure）。安装完成之后，将会有两个客户端，一个远程登录客户端，另一个FTP客户端远程登录客户端FTP客户端②在官方网站上下载jdk1.6.0_25版本③打开①中安装的FTP客户端SSH Secure File Transfer Client，然后将下载的JDK上传到虚拟机的 /usr目录下。（注：每台虚拟机都要JDK的安装）④使用①中安装的远程登录工具，分别登录每台虚拟机，进行JDK的安装。具体安装步骤及执行的指令如下图所示： ④使用①中安装的远程登录工具，分别登录每台虚拟机，进行JDK的安装。执行下面的指令，编辑/etc/profile文件，进行环境变量的设置在相应的位置添加下图中蓝色框的下面红色框所圈出的内容关于远程登录客户端的使用方法，不详细介绍。重新开启远程登录客户端，重新登录【必须重新登录远程登录客户端，环境变量才会起作用】输入javac指令验证JDK安装是否成功如出现上述内容则说明JDK安装成功，并且环境变量配置成功建立虚拟机之间SSH无密码登录按照如下顺序，在88虚拟机中执行框出的指令拷贝88中的id_dsa.pub文件到90虚拟机中拷贝88中的id_dsa.pub文件到89虚拟机中测试ssh无密码登录本机 登录189机器登录190机器测试88虚拟机ssh无密码登录89和90两台虚拟机 安装hadoop 在官方网站上下载hadoop-0.21.0版本 打开①中安装的FTP客户端SSH Secure File Transfer Client，然后将下载的hadoop上传到虚拟机的 /usr目录下。（注：每台虚拟机都要hadoop的安装） 执行如下图所示指令进行Hadoop的安装配置HADOOP环境变量【和配置JDK环境变量类似】 配置Hadoop配置文件更改hadoop安装路径/conf/hadoop-env.sh(三个虚拟机都配)设置JDK安装路径 更改hadoop安装路径/conf/masters和slaves两个文件。 只配置88虚拟机 配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。 三个虚拟机都需要配置，并且配置的内容相同 至此，Hadoop框架在VMWare Workstation虚拟机中安装任务全部结束。进行验证安装是否成功首先在88机器上执行如下指令，格式化文件系统hdfs namenode –format 执行结果如下：然后在88机器上执行如下指令，启动HDFS文件系统start-dfs.sh （停止HDFS文件系统：stop-dfs.sh）执行结果如下：执行如下指令，列出HDFS文件系统中存在的目录情况hadoop fs –ls 执行结果如下：关于hadoop fs指令的详细参数说明，请参照相关文档。执行如下指令，启动MAPREDUCE框架s