- 1、本文档共21页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
虚拟机下基于CentOS的Hadoop单机伪分布式环境搭建
虚拟机VMware环境下基于CentOS的单机伪分布式
Hadoop开发环境搭建
1.环境及安装软件说明
本文所配置的运行环境是在Windows 7操作系统上,通过安装VMware虚拟机,在虚拟机上安装Linux操作系统Cent OS,在CentOS上安装Java环境和Hadoop开发组件的方式实现单机伪分布式Hadoop开发环境。
Hadoop开发时所使用的软件及工具如下所示:
(1)虚拟机VMware:VMware-workstation-full-8.0.2-591240.exe。(2)VMware Tool:VMwareTools-8.8.2-590212.tar
(3)Linux操作系统:CentOS-5.6-i386-bin-DVD.iso
(4)Java开发组件(JDK):Jdk-7u75-linux-i586.tar.gz
(5)Hadoop:adoop-64-2.4.0.tar.gz
2.安装VMware虚拟机
图1 图2
图3 图4
图5 图6
图7 图8
图9 图10
图11 图12
3.安装Linux操作系统CentOS
安装过程如图13-所示。
”,点击安装“Install VMware Tools…”,如图22所示。
图22
(2)待虚拟机下载VMware Tool后出现如下图23所示界面。
图23
(3)解压文件VMwareTools-8.8.2-590212.tar.gz。再进入vmware-tools-distrib文件夹中,输入命令./vmware-install.pl。如图24所示。
图24
(4)待安装完成后,重启CentOS,即完成VMware Tools的安装过程。
4.安装和配置JDK
Jdk-7u75-linux-i586.tar.gz复制到目录/usr/java中。如图26所示。
图26
然后对该文件进行解压缩,如图27所示:
图27
(3)修改配置文件,如图28所示。
图28
在配置文件的末尾添加如图29所示的配置信息。
图29
然后按esc键退出插入模式,输入“:wq!”,即保存退出。最后,再执行一下使该修改有效。如图30所示。
图30
(4)验证JDK环境是否安装成功。如图31所示。
图31
如果出现图19所示的结果说明JDK环境配置正确。
5.配置SSH
6.配置Hadoop环境
adoop-64-2.4.0.tar.gz复制到目录/usr下,如图36所示。
图36
2.解压hadoop-64-2.4.0.tar.gz,如图37所示。
图37
3.修改Hadoop-64-2.4.0的目录名称,如图38所示。
图38
4.在/usr/hadoop中创建tmp文件夹,如图39所示。
图39
5.配置Hadoop环境
(1)将Hadoop的安装路径添加到/etc/profile中,修改/etc/profile文件,并使其有效。如图40-41所示。
图40
图41
配置完成后,在重启/etc/profile,使之有效。如图42所示。
图42
(2)随后要开始配置hadoop中各个节点的路径。
1)切换到Hadoop安装路径找到hadoop下的etc/hadoop/hadoop-env.sh文件夹,使用vi或文本编辑器打开,添加如下语句,如图43所示。
图43
2)配置core-site.xml的文档,如图44所示。
图44
3)配置hdfs-site.xml的文档,如图45所示。
图45
4)配置mapred-site.xml的文档,如图46所示。
图46
5)Hadoop的运行
·格式化HDFS文件系统
在初次安装和使用Hadoop之前,需要格式化分布式系统HDFS。使用如下命令,如图47所示。
图47
·启动Hadoop环境
切换到目录sbin下,启动Hadoop守护进程,命令如下图48所示。
文档评论(0)