vmware虚机下hadoop集群安装过程.docVIP

vmware虚拟机下hadoop集群安装过程 Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将Hadoop看做是下一个Linux的原因。 一．基于vmware的hadoop环境简述 本文介绍基于多台vmware虚拟机来安装hadoop集群的过程及方法，通过这个小的集群让您在本地电脑上就可以研究hadoop的相关工作过程，有人会有疑问在小的虚拟机集群上研究的结果， 写的程序能否在大集群上工作正常？可以肯定的没问题的。 Hadoop的一个特性是线性增长特性，即当前数量情况下，处理时间是1， 若是数据量加倍， 后处理时间加倍， 若是在这种情况下， 处理能力也加倍则处理时间也是1. 正常情况hadoop需要较多的服务器才能搭建， 但是我们在家里学习如何去找那么服务器， 解决办法可以找几台pc机，在pc机上安装linux系统就可以了。 当然我们还有更简单的办法， 就是找一台高性能的电脑， 在电脑上安装虚拟机软件，里面创建若干台虚拟机， 然后让这些虚拟机构成一个小的内部局域网络，在这个网络上我们安装linux软件， java软件， 安装hadoop程序，我们就可以创建一个简单hadoop的研究系统， 进行软件的开发调试， 在这个小的分布式集群上开发的程序可以无缝移植到相同版本的hadoop（不同hadoop的版本兼容性不是很好， 特别是低版本同高版本， 他们的api也有些许变化）集群中。 如下是在笔者笔记本上构建的一个hadoop的虚拟机系统， 相关网络拓扑结构如下： 虚拟机0，机器名称：db， ip：0 虚拟机1，机器名称：red， ip：1 虚拟机2，机器名称：mongdb， ip：2 虚拟机3，机器名称：nginx，ip：3 如上图， 4台虚拟机通过一个虚拟的交换机互联， 开发机器也连接到这个虚拟交换机上， 虚拟的交换机同adsl相连接，这样整个系统都可以直接上网了。 下面是几个虚拟机的典型配置，如下： Db的配置，如上， 这个机器的内存配置比较高， 这个机器是机器的master服务器， 需要较多的内存。 因此配置了1.3g内存。 下面是red的配置， mongdb及nginx的配置同这个机器配置相同，配置如下： 这个机器的配置同db机器配置相同， 仅仅是内存小了些， 这里内存是188m， 作为调试环境已经足够用了。 基于vmware虚拟机环境配置 网卡的Ip地址配置 采用静态ip配置方式， 防止重新启动后dhcp分配新的ip后，造成不必要的混乱。 配置如下： Hosts文件配置 [root@db ~]# cat /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 0 db 1 red 2 mongdb 3 nginx 需要确保每一台机器的 hosts文件配置如上图所示。 简便配置方法， 在配置一台机器后， 可以编写脚本实现自动将hosts文件复制到多台机器上。脚本如下： [root@db ~]# cat update_hosts.sh #!/bin/sh for host in red mongdb nginx;do echo $host scp /etc/hosts root@${host}:/etc/ done [root@db ~]# 主要这个脚本要在root下编写， 然后赋予可以执行的权限（chmod a+x *.sh）, 然后在root权限下执行。脚本会自动完成hosts文件的复制工作。 上面过程完成后， 分别登录每一台机器， 把每一个服务器都ping一下， 若是不通，在仔细检查一下。 Java配置 在每个虚拟机服务器上检查是否正确安装了java， 是否配置了java的环境变量等 如上图， 1处输入 java -version， 然后应该输出类似2处的输出，标识java已经正确安装了 同时采用3处的命令， env | grep JAVA_HOME 来检查环境变量是否正确配置了， 若是没有配置java的环境变量则需要进行配置 若是您java还有安装请 用下面命令安装 y