虚拟机下基于CentOS的Hadoop单机伪分布式环境搭建.doc

虚拟机VMware环境下基于CentOS的单机伪分布式 Hadoop开发环境搭建 1.环境及安装软件说明 本文所配置的运行环境是在Windows 7操作系统上，通过安装VMware虚拟机，在虚拟机上安装Linux操作系统Cent OS，在CentOS上安装Java环境和Hadoop开发组件的方式实现单机伪分布式Hadoop开发环境。 Hadoop开发时所使用的软件及工具如下所示： （1）虚拟机VMware：VMware-workstation-full-8.0.2-591240.exe。（2）VMware Tool：VMwareTools-8.8.2-590212.tar （3）Linux操作系统：CentOS-5.6-i386-bin-DVD.iso （4）Java开发组件（JDK）：Jdk-7u75-linux-i586.tar.gz （5）Hadoop：adoop-64-2.4.0.tar.gz 2.安装VMware虚拟机 图1 图2 图3 图4 图5 图6 图7 图8 图9 图10 图11 图12 3.安装Linux操作系统CentOS 安装过程如图13-所示。 ”，点击安装“Install VMware Tools…”，如图22所示。 图22 （2）待虚拟机下载VMware Tool后出现如下图23所示界面。 图23 （3）解压文件VMwareTools-8.8.2-590212.tar.gz。再进入vmware-tools-distrib文件夹中，输入命令./vmware-install.pl。如图24所示。 图24 （4）待安装完成后，重启CentOS，即完成VMware Tools的安装过程。 4.安装和配置JDK Jdk-7u75-linux-i586.tar.gz复制到目录/usr/java中。如图26所示。 图26 然后对该文件进行解压缩，如图27所示： 图27 （3）修改配置文件，如图28所示。 图28 在配置文件的末尾添加如图29所示的配置信息。 图29 然后按esc键退出插入模式，输入“：wq！”，即保存退出。最后，再执行一下使该修改有效。如图30所示。 图30 （4）验证JDK环境是否安装成功。如图31所示。 图31 如果出现图19所示的结果说明JDK环境配置正确。 5.配置SSH 6.配置Hadoop环境 adoop-64-2.4.0.tar.gz复制到目录/usr下，如图36所示。 图36 2.解压hadoop-64-2.4.0.tar.gz，如图37所示。 图37 3.修改Hadoop-64-2.4.0的目录名称，如图38所示。 图38 4.在/usr/hadoop中创建tmp文件夹，如图39所示。 图39 5.配置Hadoop环境 （1）将Hadoop的安装路径添加到/etc/profile中，修改/etc/profile文件，并使其有效。如图40-41所示。 图40 图41 配置完成后，在重启/etc/profile，使之有效。如图42所示。 图42 （2）随后要开始配置hadoop中各个节点的路径。 1）切换到Hadoop安装路径找到hadoop下的etc/hadoop/hadoop-env.sh文件夹，使用vi或文本编辑器打开，添加如下语句，如图43所示。 图43 2）配置core-site.xml的文档，如图44所示。 图44 3）配置hdfs-site.xml的文档，如图45所示。 图45 4）配置mapred-site.xml的文档，如图46所示。 图46 5）Hadoop的运行 ·格式化HDFS文件系统 在初次安装和使用Hadoop之前，需要格式化分布式系统HDFS。使用如下命令，如图47所示。 图47 ·启动Hadoop环境 切换到目录sbin下，启动Hadoop守护进程，命令如下图48所示。